日記ブログ、または雑多なメモ
広告
一個2900円の中古250GBHDDx5が到着。
中のヒトは日立のHTS542525K9SA00だった。
検索してみても特に何という情報もなく、普通の2007年製日立ドライブのようである。
何やらときどき「ｶﾁﾝ、ｶﾁﾝ」という動作音がして今すぐにでも壊れそうな感じなのだが、これで普通の状態らしい。
その他のパーツも届いて、気を取り直しマザーをZOTAC G43ITX-A-Eに入れ替える。 sataポート5個がとてもまぶしい。 そして、「PCI-e x1」でなく「Mini PCI-e」x1だということに今更気がついた。 無線LANが載っているわけだが、たぶん無線LANにしか使えない特殊ポートの可能性が高そう。 あと、このマザーではケースファンをPWMで制御できません。 ガッカリだ。 CPU温度はファン制御をquietの状態で40℃。 FOXCONNのマザーではsysctl dev.cpu.0.freq_levelsで電圧の確認もできていたのだが、このマザーでは-1表示になっている。
BIOSの設定がなんだかかなりややこしかったのだが、とりあえずSATAはAHCIモードにしておいた。
3.5インチベイに入れる2.5インチx4用ブラケットは、思った通りうまい具合にすっきりばっちり組み込め（ただしケース側に通常なら必要ない真ん中辺りのビス穴がなく、とりあえずは片方のみで固定）、全ての装置を組み込み完了。
さっそくDVD-RWに焼いたamd64用のFreeBSD-8.0-STABLEから起動、sysinstallのconfigure->fixitから直接HDDをいじる。 せっかく5台とも250GBにしたので、まずは5台まとめてraidz2を組んでかつ、ブートドライブにする方法をとってみる。 基本は、http://wiki.freebsd.org/RootOnZFS/GPTZFSBoot のやり方を参考。 swapに関してはこちらを参考。 感謝。
全ての操作をずらっと書いたものはコチラ。
最初に各ドライブを掃除。 /devの中を見てドライブの名前っぽいのを確認。 このマシンではad4、ad6、ad8、ad10、ad12。
で、ドライブの中身を確認。 パーティションがあれば番号を指定して削除。
パーティションがなくなったら本体を掃除。
以上をそれぞれのドライブについて実行。
掃除が終わったら再びcreateしてから、ブート領域とzfs領域のパーティションを切ってブートコードを入れる。
これもad4〜ad12まで各ドライブでやるのだが、disk0のラベル指定部分を0、1、2、3、4と数字を各ドライブで変えておく。 参考ページではここでswap領域も作っているが、今回は後でzpool上で作るので省略。
zfsのプールを作るところで、
と、raidz2で統合。 壮観だ。 gptを経由せずに結合できないか試したが、operation not permittedだかでできない。 gptで起動するならこうするしかないのか。 もう少し調べて見た方がよさそうである。
この後はほぼ参考通りだが、
の部分はexec=onにしておかないと/usr/src下でビルドできなかったりするので、exec=onにする。 自分の場合はあとで気がついたので、
とした。
でもって、swapも作る。
自分用のタンク領域も作る。 透過圧縮をgzip-1にしておく。 入れるデータは圧縮系のデータばかりな気もするので透過圧縮していいものかどうか微妙なところ。
＞7. Install ZFS aware /boot/loader (Required for 8.0-RELEASE and 7.{0-2}-RELEASE)
のところは8.0-STABLEなので必要なし。 /etc/fstabの設定も必要なし。 zpool.cacheのコピーは忘れるとブート時にマウントできないので必ずすべし。
で、参考通りマウントポイントの修正をして再起動、ブート直後のプローブでえらい間待たされたあげく、普通に起動した。 おめでとう。
というわけで、DHCPの設定、cpufreq、powerdの起動設定などして基本的な整備完了。 その他、/usr/share/examples/cvsup/stable-supfileを使ってcsupで/usr/srcをアップデート、portsnapでportsの更新後、portsからnanoやらipmitoolやらbonnie++などを試しにビルドインストール、kernel の再構築などなどを粛々と遂行。 何かをインストールした後はrehashを忘れずに。
ちなみに、ビルド中に5台のHDDのうち一本の信号ケーブルを試しに引っこ抜いてみたが、当たり前にそのまま平気で動き続けた。 ただ、差し直してもホットスワップに対応してないのかremovedのままで、再起動しないと引っこ抜いたドライブは復帰しなかった。 sataのホットプラグの具合をよくわかってないので詳細不明。 何はともあれこりゃ強いサーバである。
気になる速度の方だが、一応bonnie++を取ってみた。
RAID-Z2(RAID-6相当)ではドライブが増えるほど読み込みが速くなり、書き込みが遅くなるというふれこみ通りの結果か。 ちなみに-n 256を付けてbonnie++ってみたらmalloc関係でkernel panicを起こしてフリーズした。 見なかったことにしよう。 お金持ちになったら、Q8200とかメモリ4GB二本とかを積むことにする。
ところで、おそらくマザーのせいだと思うが、DVDドライブが不調気味。 作業途中で認識しなくなったりDVDブートしなかったり。 sata接続のドライブだけおかしくなるのかと思っていたが、USB外部接続でもダメなのか？インストールは済んだのでいいものの、かなりやっかいな症状だ。
その他懸念事項として、RAIDそのものにシステムが入ってるけど、システムアップデートなんかに失敗した場合少々面倒なことになるかもではある。 とりあえずいくら新しもの好きとはいえ、CURRENTにすることだけはやめておこうと心に誓う。
以上、おおよそ675GBのraidz2ファイルサーバ完成。 samba3サーバをおったててLANに参加させ、さっそく荷物を放り込み中。
その他のパーツも届いて、気を取り直しマザーをZOTAC G43ITX-A-Eに入れ替える。 sataポート5個がとてもまぶしい。 そして、「PCI-e x1」でなく「Mini PCI-e」x1だということに今更気がついた。 無線LANが載っているわけだが、たぶん無線LANにしか使えない特殊ポートの可能性が高そう。 あと、このマザーではケースファンをPWMで制御できません。 ガッカリだ。 CPU温度はファン制御をquietの状態で40℃。 FOXCONNのマザーではsysctl dev.cpu.0.freq_levelsで電圧の確認もできていたのだが、このマザーでは-1表示になっている。
BIOSの設定がなんだかかなりややこしかったのだが、とりあえずSATAはAHCIモードにしておいた。
3.5インチベイに入れる2.5インチx4用ブラケットは、思った通りうまい具合にすっきりばっちり組み込め（ただしケース側に通常なら必要ない真ん中辺りのビス穴がなく、とりあえずは片方のみで固定）、全ての装置を組み込み完了。
さっそくDVD-RWに焼いたamd64用のFreeBSD-8.0-STABLEから起動、sysinstallのconfigure->fixitから直接HDDをいじる。 せっかく5台とも250GBにしたので、まずは5台まとめてraidz2を組んでかつ、ブートドライブにする方法をとってみる。 基本は、http://wiki.freebsd.org/RootOnZFS/GPTZFSBoot のやり方を参考。 swapに関してはこちらを参考。 感謝。
全ての操作をずらっと書いたものはコチラ。
最初に各ドライブを掃除。 /devの中を見てドライブの名前っぽいのを確認。 このマシンではad4、ad6、ad8、ad10、ad12。
# gpart show ad4で、ドライブの中身を確認。 パーティションがあれば番号を指定して削除。
# gpart delete -i 1 ad4パーティションがなくなったら本体を掃除。
# gpart destroy ad4以上をそれぞれのドライブについて実行。
掃除が終わったら再びcreateしてから、ブート領域とzfs領域のパーティションを切ってブートコードを入れる。
# gpart add -s 64K -t freebsd-boot ad4
# gpart add -t freebsd-zfs -l disk0 ad4
# gpart bootcode -b /mnt2/boot/pmbr -p /mnt2/boot/gptzfsboot -i 1 ad4これもad4〜ad12まで各ドライブでやるのだが、disk0のラベル指定部分を0、1、2、3、4と数字を各ドライブで変えておく。 参考ページではここでswap領域も作っているが、今回は後でzpool上で作るので省略。
zfsのプールを作るところで、
# mkdir /boot/zfs
# zpool create zroot raidz2 /dev/gpt/disk0 /dev/gpt/disk1 /dev/gpt/disk2 /dev/gpt/disk3 /dev/gpt/disk4
# zpool set bootfs=zroot zrootと、raidz2で統合。 壮観だ。 gptを経由せずに結合できないか試したが、operation not permittedだかでできない。 gptで起動するならこうするしかないのか。 もう少し調べて見た方がよさそうである。
この後はほぼ参考通りだが、
# zfs create -o compression=lzjb -o exec=off -o setuid=off zroot/usr/srcの部分はexec=onにしておかないと/usr/src下でビルドできなかったりするので、exec=onにする。 自分の場合はあとで気がついたので、
# zfs set exec=on zroot/usr/srcとした。
でもって、swapも作る。
# zfs create -V 4gb zroot/swap
# zfs set org.freebsd:swap=on zroot/swap 自分用のタンク領域も作る。 透過圧縮をgzip-1にしておく。 入れるデータは圧縮系のデータばかりな気もするので透過圧縮していいものかどうか微妙なところ。
# zfs create -o compression=gzip-1 -o exec=on -o setuid=off zroot/tank
# zfs set mountpoint=/tank zroot/tank
＞7. Install ZFS aware /boot/loader (Required for 8.0-RELEASE and 7.{0-2}-RELEASE)
のところは8.0-STABLEなので必要なし。 /etc/fstabの設定も必要なし。 zpool.cacheのコピーは忘れるとブート時にマウントできないので必ずすべし。
で、参考通りマウントポイントの修正をして再起動、ブート直後のプローブでえらい間待たされたあげく、普通に起動した。 おめでとう。
Duke# zpool status |
というわけで、DHCPの設定、cpufreq、powerdの起動設定などして基本的な整備完了。 その他、/usr/share/examples/cvsup/stable-supfileを使ってcsupで/usr/srcをアップデート、portsnapでportsの更新後、portsからnanoやらipmitoolやらbonnie++などを試しにビルドインストール、kernel の再構築などなどを粛々と遂行。 何かをインストールした後はrehashを忘れずに。
ちなみに、ビルド中に5台のHDDのうち一本の信号ケーブルを試しに引っこ抜いてみたが、当たり前にそのまま平気で動き続けた。 ただ、差し直してもホットスワップに対応してないのかremovedのままで、再起動しないと引っこ抜いたドライブは復帰しなかった。 sataのホットプラグの具合をよくわかってないので詳細不明。 何はともあれこりゃ強いサーバである。
気になる速度の方だが、一応bonnie++を取ってみた。
| C2D E6300 FOXCONN G41S-K 1GB RAM 2.5inch 5400rpm HDD x1 UFS | Version 1.96 ------Sequential Output------ --Sequential Input- --Random- |
| C2D E6300 ZOTAC G43ITX-A-E 2GB RAM 2.5inch 5400rpm HDD x5 RAID-Z2 | Version 1.96 ------Sequential Output------ --Sequential Input- --Random- |
RAID-Z2(RAID-6相当)ではドライブが増えるほど読み込みが速くなり、書き込みが遅くなるというふれこみ通りの結果か。 ちなみに-n 256を付けてbonnie++ってみたらmalloc関係でkernel panicを起こしてフリーズした。 見なかったことにしよう。 お金持ちになったら、Q8200とかメモリ4GB二本とかを積むことにする。
ところで、おそらくマザーのせいだと思うが、DVDドライブが不調気味。 作業途中で認識しなくなったりDVDブートしなかったり。 sata接続のドライブだけおかしくなるのかと思っていたが、USB外部接続でもダメなのか？インストールは済んだのでいいものの、かなりやっかいな症状だ。
その他懸念事項として、RAIDそのものにシステムが入ってるけど、システムアップデートなんかに失敗した場合少々面倒なことになるかもではある。 とりあえずいくら新しもの好きとはいえ、CURRENTにすることだけはやめておこうと心に誓う。
以上、おおよそ675GBのraidz2ファイルサーバ完成。 samba3サーバをおったててLANに参加させ、さっそく荷物を放り込み中。
- C'sGallery Blogっぽく見えるシステム3.2 -
小武 (管理人) eta2@tim.hi-ho.ne.jp
小武 (管理人) eta2@tim.hi-ho.ne.jp