FreeBSD 12.0-RELEASEのZFSのミラープールにUSB接続のHDDをアタッチしてみた。USB接続だろうと何だろうと、いつもの手順でzpool attachすれば行けるはずだけど、実のところ今までやったことが無かった。/usr/homeを置いてるHDDが手狭になってきたため、交換ついでに試してみた記録。
まずは対象のミラープール(zhome)の確認。
$ zpool status zhome
pool: zhome
state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
the pool may no longer be accessible by software that does not support
the features. See zpool-features(7) for details.
scan: resilvered 0 in 0 days 00:12:00 with 0 errors on Thu Nov 22 00:25:49 2018
config:
NAME STATE READ WRITE CKSUM
zhome ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ada7p1 ONLINE 0 0 0
ada8p1 ONLINE 0 0 0
logs
mirror-1 ONLINE 0 0 0
ada5p4 ONLINE 0 0 0
ada6p4 ONLINE 0 0 0
cache
ada5p8 ONLINE 0 0 0
ada7p1とada8p1でミラー構成になっていることが分かる。
お次にcamcontrolで対象のHDDを確認。
# camcontrol devlist <TOSHIBA MQ03ABB300 JP050U> at scbus9 target 0 lun 0 (ada7,pass8) <WD Elements 25A3 1021> at scbus13 target 0 lun 0 (pass11,da0) <WD Elements 25A3 1021> at scbus14 target 0 lun 0 (pass12,da1)
必要なHDDのみ抜粋したため番号が飛んでいるが、ada7がプールを構成する2.5インチHDDの1つで、da0/da1がプールに追加するUSB接続の8TB HDDである。
da0/da1にパーティションを作る。自分はディスク全体ではなくパーティションでZFSを構成する派なのである。
8TBのHDDを用意したので、gpartでてきとーにda0のパーティションを切り、da1にそのままコピーする。
# gpart create -s gpt da0
# gpart add > gpart add -a 4k -t freebsd-zfs -s 15620000000 da0
da0p1 added
$ gpart show da0
=> 40 15627986864 da0 GPT (7.3T)
40 15620000000 1 freebsd-zfs (7.3T)
15620000040 7986864 - free - (3.8G)
# gpart backup da0 | gpart restore da1
$ gpart show da1
=> 40 15627986864 da1 GPT (7.3T)
40 15620000000 1 freebsd-zfs (7.3T)
15620000040 7986864 - free - (3.8G)
そして、いつも通りzpool attachする。コマンドが返ってくるまで結構時間が掛かって不安になるけど、強い心で待つ。
# zpool attach zhome ada7p1 da0p1 # zpool attach zhome ada7p1 da1p1
あとはプールのresilveringが終わるのを待つだけ、何だけれども、今回初めての現象に遭遇した。
デバイスをアタッチ後、zpool iostatで読み書きの状況を見ていたら、どういうわけか2MB/s程度の速度しか出ていない。
capacity operations bandwidth
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
zhome 2.26T 474G 637 0 2.49M 0
mirror 2.26T 474G 637 0 2.49M 0
ada7p1 - - 288 0 1.31M 0
ada8p1 - - 273 0 1.19M 0
da0p1 - - 0 0 0 0
da1p1 - - 0 0 0 0
logs - - - - - -
mirror 388K 1.98G 0 0 0 0
ada5p4 - - 0 0 0 0
ada6p4 - - 0 0 0 0
cache - - - - - -
ada5p8 10.6G 139G 0 0 0 0
---------- ----- ----- ----- ----- ----- -----
ミラーの片割れを物理的に取り外し、新しいHDDを取り付けてzpool replaceするいつもの方法、すなわちワザとプールをデグレさせて新しいHDDでミラーを復旧させる良い子のみんなは真似しちゃダメな方法だと直ぐにresilveringが走っていたのだけど…。
暫く観察してたところ、どうやらresilveringの前にプールの全走査？をしているっぽい？
$ zpool status zhome
pool: zhome
state: ONLINE
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Sun Jul 14 08:38:19 2019
355G scanned at 1.08G/s, 1.25M issued at 3.89K/s, 2.26T total ★←ここ
0 resilvered, 0.00% done, no estimated completion time
config:
NAME STATE READ WRITE CKSUM
zhome ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ada7p1 ONLINE 0 0 0
（略）
上記ログを見て分かる通り、1.08G/sという2.5インチHDDにはありえない速さでスキャンが行われており、実際の読み込み速度と合わせて考えると何らかのメタデータを読んでる？
とりあえず「355G scanned at 1.08G/s」の部分がプールの容量に達した後、データの同期が開始されるようだ。一度始まってしまえば順当に100MB/s超の速度が出るのでしばらく待つ。
$ zpool status zhome
pool: zhome
state: ONLINE
scan: resilvered 4.51T in 0 days 07:07:33 with 0 errors on Sun Jul 14 15:45:52 2019
config:
NAME STATE READ WRITE CKSUM
zhome ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ada7p1 ONLINE 0 0 0
ada8p1 ONLINE 0 0 0
da0p1 ONLINE 0 0 0
da1p1 ONLINE 0 0 0
logs
mirror-1 ONLINE 0 0 0
ada5p4 ONLINE 0 0 0
ada6p4 ONLINE 0 0 0
cache
ada5p8 ONLINE 0 0 0
errors: No known data errors
終わってみれば94MB/s程度でresilveringが行われた事になるので、いつも通りの速度だったと言える。
というわけで、SATAとUSBのHDDを混在させても問題なくZFSミラー構成が取れるという事が分かった。まぁ、当然ですけど。