お家 Kubernetes クラスターのストレージに NFS on ZFS on Linux を利用することにした。 メインは rook で払い出した ceph を利用することにして、こちらは主にバックアップ用途。

以下が作業ログ。 ほとんど 「UBUNTU 16.04のZFSで/HOMEを冗長化」の丸パクリ。

システム構成

• CPU: Intel Celeron J3160
• RAM: DDR3L 8 GiB
• Disk:
  • Western Digital Red 6 TB WD60EFRX x 3
  • Western Digital Blue 6 TB WD60EZRZ x 3
• OS: Ubuntu 18.04

ということで、WD の Red x3, Blue x3 の計 6 台を利用して raidz2 構成のストレージを作る。

zfs のインストール

# apt install zfsutils-linux

プールの作成

システムの該当するディスクを事前に ls /dev/disk/by-id で調べておき、gpt でラベル。

# parted /dev/disk/by-id/ata-WDC_WD60EFRX-68L0BN1_WD-WX11D3678X8H mklabel gpt
# parted /dev/disk/by-id/ata-WDC_WD60EFRX-68L0BN1_WD-WX11D36JRS44 mklabel gpt
# parted /dev/disk/by-id/ata-WDC_WD60EFRX-68L0BN1_WD-WX21D48FDCVA mklabel gpt
# parted /dev/disk/by-id/ata-WDC_WD60EZRZ-00GZ5B1_WD-WX21D68PLLUX mklabel gpt
# parted /dev/disk/by-id/ata-WDC_WD60EZRZ-00GZ5B1_WD-WX31D88KSYCH mklabel gpt
# parted /dev/disk/by-id/ata-WDC_WD60EZRZ-00RWYB1_WD-WX31D254PV7U mklabel gpt

そしてプールの作成。

# zpool create -o ashift=12 -o autoexpand=on \
    tank raidz2 \
    ata-WDC_WD60EFRX-68L0BN1_WD-WX11D3678X8H \
    ata-WDC_WD60EFRX-68L0BN1_WD-WX11D36JRS44 \
    ata-WDC_WD60EFRX-68L0BN1_WD-WX21D48FDCVA \
    ata-WDC_WD60EZRZ-00GZ5B1_WD-WX21D68PLLUX \
    ata-WDC_WD60EZRZ-00GZ5B1_WD-WX31D88KSYCH \
    ata-WDC_WD60EZRZ-00RWYB1_WD-WX31D254PV7U

オプションはそのまま参考エントリのまま。 -o ashift でセクターサイズの指定、 -autoexpand=on で将来拡張する時の保険。

# zpool status
pool: tank
state: ONLINE
scan: none requested
config:

    NAME                                          STATE     READ WRITE CKSUM
    tank                                          ONLINE       0     0     0
      raidz2-0                                    ONLINE       0     0     0
        ata-WDC_WD60EFRX-68L0BN1_WD-WX11D3678X8H  ONLINE       0     0     0
        ata-WDC_WD60EFRX-68L0BN1_WD-WX11D36JRS44  ONLINE       0     0     0
        ata-WDC_WD60EFRX-68L0BN1_WD-WX21D48FDCVA  ONLINE       0     0     0
        ata-WDC_WD60EZRZ-00GZ5B1_WD-WX21D68PLLUX  ONLINE       0     0     0
        ata-WDC_WD60EZRZ-00GZ5B1_WD-WX31D88KSYCH  ONLINE       0     0     0
        ata-WDC_WD60EZRZ-00RWYB1_WD-WX31D254PV7U  ONLINE       0     0     0

errors: No known data errors

ファイルシステムの作成

普通は用途ごとに細かくオプションを変えたファイルシステムを切り出すのだろうけど、 面倒だったので export という名前のファイルシステムを作成して、後々、nfs で共有予定。

# zfs create -o atime=on -o relatime=on \
      tank/export
# mkdir /export
# zfs set mountpoint=/export tank/export

21TB のファイルシステムができました。

# zfs list
NAME          USED  AVAIL  REFER  MOUNTPOINT
tank          959K  21.0T   192K  /tank
tank/export   192K  21.0T   192K  /export

Happy birthday my cluster! Today is the 1st anniversary of my #kubernetes cluster. Any gifts are welcome lol pic.twitter.com/xM5J0G4O3B

— Yuanying (@yuanying) 2018年10月10日

最初の投稿では運用し始めたクラスターのバージョンは伺い知れぬが、 Twitter 上の最初のアップグレードのつぶやきが、v1.7 -> v1.8 であったので、 v1.7 のいくつかだったのであろう。

そんなこんなで、今日、v1.11.2 だったクラスターを v1.12.1 にアップグレードした。 かれこれ 5 マイナーバージョンのアップグレードである。

以下、今回のアップグレードでやったこと。

apiserver の修正

--insecure-port のフラグが (v1.11からだが) deprecated になったのに合わせて削除。

controller-manager の修正

Changelog の Known Issues に書いてあって なんじゃこりゃ、と思っていた、

kube-controller-manager currently needs a writable --cert-dir (default is /var/run/kubernetes) for generating self-signed certificates, when no --tls-cert-file or --tls-private-key-file are provided.

に思いっきり当たる。

そもそも、v1.12 から controller-manager が公開している、metrics 取得のための API が、 secure になった、というか TLS 接続がデフォルトになったのだが、 (それに合わせて色々フラグが増えているのだけれども、一見見るとなんじゃこれと思う) そのための証明書や鍵を設定していないと自己署名証明書を所定のディレクトリに自動生成してしまう、というのがこの issue。

一見すると特になんの問題もなさそうなのだが、どうやら hyperkube のイメージでは、 その「所定のディレクトリ」が read only であるらしく、 自動生成することができずに controller-manager の起動に失敗してしまうのだ！

回避方法は、一番真っ当な解決策として、「妥当な証明書をちゃんと設定してやる」というものが挙げられるが、 今の所、特に controller-manager のメトリクスは収集してないので、適当な empty dir をマウントして逃げた。 (こんな感じ)

そもそも自己署名の証明書をディスクに書き出す必要もなく、メモリに持てばいいじゃない、 などの議論がされている模様。

etcd を v3.2.18 から v3.2.24 へ

一応、ミニマムな推奨バージョンは 3.2.10 とのことだが、 v1.12 におけるデフォルトの etcd version が v3.2.24 になったことに合わせて、 etcd のバージョンを初めて上げた。

と言っても、etcd 自体は static pod で起動しているので、 やったことはマニフェストのバージョンを上げて、一台ずつ手でマニフェストを交換してやっただけ。 すんなり動いた。(めんどくさかったのでバックアップすら取っていない。)

checkpointer のバージョンアップ

self-hosted k8s をやってる人じゃないと関係ないけど、 checkpointer のバージョンを 018007e77ccd61e8e59b7e15d7fc5e318a5a2682 に上げた。 上げないとクラスター再起動が失敗する模様。

なんか、checkpointer は k8s のバージョンごとに上げないとダメな感じよね。

以上。

CoreDNS のバージョンは後で上げる。

つい先日、4年前に購入した Garmin 510 J がとうとう壊れてしまったのに合わせて Bryton Rider 410 を購入。

順当にいけば Garmin 520J への買い替えとなったのだが、 やはり 18h 以上かかる長めのツーリング向けとしてバッテリーの保ちが気になり、 公称バッテリー稼働時間 35 時間を誇る Bryton 410 に魅力を感じた次第。

とりあえず1ヶ月使ってみて

基本的な GPS ロガーとしての機能は必要十分だが、気になるところとして、、

• 公式 iPhone アプリがちゃちい。
• 公式 iPhone アプリと Rider 410 が自動で同期してデータをアップロードしてくれない。

ソフトウェアエンジニアとして、Garmin Connect も微妙なサービスだなあと思っていたのだが、 Bryton のソフトウェア面は輪をかけて微妙。 まあ、出来はさておき最低限の機能が揃ってればいいのだが、 Garmin のデバイスではできていた、 アクティビティ終了後に勝手に Strava なりなんなりにデータをアップロードする、 という機能が Bryton には無く、毎回手作業でアプリを起動して同期ボタンを押さなければならないのがかなりイライラする。

ソフトウェア的な問題なので改善してくれること期待する。

観に行った。

最近は、クレヨンしんちゃんだの仮面ライダーだのドラえもんだの、 (今年のドラえもんは特につまらなかった) 映画は行くには行くけど心底面白いと思うような映画を観れずにいたが、、 久しぶりに映画らしい映画を観れて満足。

売上貢献のためにパンフも買った。

どうも庭の土は石だらけで、畑にするのも大変なのでレイズドベッドを作った。 去年と比べてきゅうりがモリモリできる…。

何と言っても心惹くのが、メッセンジャーバッグ・フレームバッグコンパチブルという仕様。 ということで早速自転車に取り付けて走った。

フレームバッグとして

• サイドに iPhone 専用のポケットがあって自転車乗車中でも iPhone を取り出しやすい。
• あまり物が入らない。パンパンに入れると膨らんで足と干渉する。
• それなりに取り付けやすい。

メッセンジャーバッグとして

• 軽い！(小さいから？)
• 使い心地は普通のメッセンジャーバッグ。リュックと比べて物を取り出しやすい。

全体

• 財布と iPhone と修理工具くらいしか入らない。
• メッセンジャバッグ <-> フレームバッグ間の変換がめんどくさい。3分くらいかかる。
• このくらいの大きさのメッセンジャーだと背負ってても負担がないのでフレームバッグとして使うのか疑惑。

夏場に自転車乗るときは着替えやタオルを持ち歩きたいので、 自分の利用用途だと冬場になんとなく気分がのったときに使うかな？って感じ。 グロッサリーパニアでも買って中に忍ばせておくか…？

具体的にいうと、

• ショルダーバッグもしくはリュックタイプ。
• 容量は Macbook とパンク修理用工具さえ最低限入れば。
• 簡単に着脱可能、外したらすぐにカバン、もしくはリュックとして背負えるもの。
• いかにもパニエ面しておらず、普通のカバン、もしくはリュック。

結局見つからなかったので、 古い FREITAG の Surfside 6 に中古で買ったオルトリーブのパニエから金具を取り付け、自分で作成。

若干、足に当たるものの、思ったより具合が良い。

Japan Container Days v18.04 にて登壇してきた。 発表内容は Helmを利用したKubernetes as a Serviceの実現。

解説記事を書こう書こうと思いつつも書けずにいる。

世界最小 LTE スマホ らしい、Unihertz Jelly Pro を買った。

そう、ポケモンの二垢目用に。

とりあえず一ヶ月使った感想としては、 バッテリーが心配だったものの、 なんとなく子どもがポケモンで遊ぶ限りにおいては1-1.5hくらい保つ感じで実用になるかな。 思ったより安いし。

あとは Android の使い方がよくわからんので、勝手に GPS がオフになったりして困るくらい…。

ひとまずインターバルでもやってどのくらい体力落ちてるか確認。 まあ、だいぶ落ちてるけど、まだ4min/kmで走れて一応安心。 とりあえず三年前は 1km x 6 で休憩 500m のインターバルを 3:30/km くらいで回していたようなので、 それを目標に。