Supermicro X10DRiは普通にNVMeブート対応してるっぽい？

Supermicroのマザボ、X10DRiは普通にNVMeデバイスからのブートに対応しているようだ。

何をいまさらと思われるかもしれないが、M.2スロットは載ってないし、公式の明確な対応情報も見当たらないばかりか、FAQでも（姉妹モデルのだけど）対応/非対応の情報が載ってて良くわからなかったのよ。

X10DRi-TはSamsung 970 PROのブートに対応してる？
- してない。本M/BのAMIネイティブモジュールは970非対応
X10DAiでAOC-SLG3-2M2を使ったM.2ブートできる？
- できない。本M/BはM.2のネイティブサポートはしてない。エンプラ向けのOption ROM付きのM.2 SSDならブートできる。
X10DAiはOption ROMなしのPCIe NVMeからブートできる？
- できない。BIOSはNVMeのネイティブ対応してない。起動デバイスのOption ROMないと無理。
X10DAiはNVMe PCIe SSDのブート対応してる？
- UEFIモードで対応してる。PCIeのOption ROMをLegacyからUEFIに変更せよ。

こんな具合。とりあえずOption ROM使えばブートできるのは間違いない。

Supermicroだし鯖向けマザーだし当然NVMeブート対応してるだろうと、大して深く考えずにPM983をポチっちゃったのが前回というわけでして。まぁ、後の調査で、Samsung DC Toolkitなるものを使えばPM983にOption ROMのダウンロードできそうだし、最悪Clover EFI bootloaderでどうにかなるだろうと思いつつ組み込んでみたら、余裕で対応してた。

Option ROMをDisabledにしても、変わらずBIOSで認識されるのでネイティブ対応してると思う。多分。

BIOS Revision: 3.1bでの結果でござる。もし使えなかったらさーせん。

permalink · 2019-09-21 08:59 · Decomo · 10 Comments · Tags:

SAMSUNGのエンタープライズ向けSSD、PM983シリーズの960GBモデルMZQLB960HAJR-00007がやってきた。宅内ネットワークの40GbE化により、サーバのストレージがSATAのSSDでは物足りなくなったため、うっかりポチってしまった。

速度的には最近のM.2なSSDの方が速かったりするんだけど、少しくらい遅くてもエンプラ向けの高信頼品が欲しかったのですよ。で、eBay見てたら販売店テスト済みの中古品が1万円弱だったので2台買っちゃった。PM963, PM953あたりなら同価格で新古品がそこそこ出回ってるようだが、中古とはいえPM983が1万円はなかなかのお買い得品。スペックは以下の通り。

シーケンシャル
- Read 3000MB/s
- Write 1050MB/s
ランダム
- Read 400000 IOPS
- Write 40000 IOPS
1.3 DWPD (TBW=1366TB)
TLC (3bit MLC VNAND)

9/2に注文して受け取れたのは9/14。届いたモノは、綺麗な外観の書き込み量は1TB弱で、中古としては上々と言える。

1GB

CrystalDiskMark 6.0.2 x64 (C) 2007-2018 hiyohiyo

   Sequential Read (Q= 32,T= 1) :  3477.878 MB/s
  Sequential Write (Q= 32,T= 1) :  1343.090 MB/s
  Random Read 4KiB (Q=  8,T= 8) :  1420.408 MB/s [ 346779.3 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :  1031.596 MB/s [ 251854.5 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :   284.364 MB/s [  69424.8 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :   249.212 MB/s [  60842.8 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :    47.538 MB/s [  11606.0 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :   144.743 MB/s [  35337.6 IOPS]

  Test : 1024 MiB [G: 0.0% (0.1/894.2 GiB)] (x5)  [Interval=0 sec]
  Date : 2019/09/15 22:02:39
    OS : Windows 10 Professional [10.0 Build 18362] (x64)
    SAMSUNG MZQLB960HAJR-00007 (PCIe 3.0)

32GB

CrystalDiskMark 6.0.2 x64 (C) 2007-2018 hiyohiyo

   Sequential Read (Q= 32,T= 1) :  3474.642 MB/s
  Sequential Write (Q= 32,T= 1) :  1156.368 MB/s
  Random Read 4KiB (Q=  8,T= 8) :  1423.327 MB/s [ 347491.9 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :   388.278 MB/s [  94794.4 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :   291.644 MB/s [  71202.1 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :   172.880 MB/s [  42207.0 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :    47.276 MB/s [  11542.0 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :   136.357 MB/s [  33290.3 IOPS]

  Test : 32768 MiB [G: 0.0% (0.1/894.2 GiB)] (x5)  [Interval=0 sec]
  Date : 2019/09/15 22:03:08
    OS : Windows 10 Professional [10.0 Build 18362] (x64)
    SAMSUNG MZQLB960HAJR-00007 (PCIe 3.0)

1GB

AS SSD Benchmark 2.0.6485.19676
------------------------------
Name: SAMSUNG MZQLB960HAJR-00007
Firmware: EDA5202Q
Controller: stornvme
Offset: 16384 K - OK
Size: 894.25 GB
Date: 2019/09/15 22:03:59
Note: MZQLB960HAJR-00007
------------------------------
Sequential:
------------------------------
Read: 2569.63 MB/s
Write: 1294.86 MB/s
------------------------------
4K:
------------------------------
Read: 41.92 MB/s
Write: 113.66 MB/s
------------------------------
4K-64Threads:
------------------------------
Read: 1365.31 MB/s
Write: 1254.64 MB/s
------------------------------
Access Times:
------------------------------
Read: 0.036 ms
Write: 0.034 ms
------------------------------
Score:
------------------------------
Read: 1664
Write: 1498
Total: 3951
------------------------------

AS SSD Benchmark 2.0.6485.19676
------------------------------
Name: SAMSUNG MZQLB960HAJR-00007
Firmware: EDA5202Q
Controller: stornvme
Offset: 16384 K - OK
Size: 894.25 GB
Date: 2019/09/15 22:04:22
Note: MZQLB960HAJR-00007
------------------------------
16MB
------------------------------
Read: 160.60 iops
Write: 80.93 iops
------------------------------
4K:
------------------------------
Read: 10731 iops
Write: 29098 iops
------------------------------
4K-64Threads:
------------------------------
Read: 349520 iops
Write: 321189 iops
------------------------------
512B
------------------------------
Read: 27858 iops
Write: 29645 iops
------------------------------
Score:
------------------------------
Read: 1664
Write: 1498
Total: 3951
------------------------------

10GB

AS SSD Benchmark 2.0.6485.19676
------------------------------
Name: SAMSUNG MZQLB960HAJR-00007
Firmware: EDA5202Q
Controller: stornvme
Offset: 16384 K - OK
Size: 894.25 GB
Date: 2019/09/15 22:04:08
Note: MZQLB960HAJR-00007
------------------------------
Sequential:
------------------------------
Read: 2857.39 MB/s
Write: 1275.96 MB/s
------------------------------
4K:
------------------------------
Read: 41.43 MB/s
Write: 114.74 MB/s
------------------------------
4K-64Threads:
------------------------------
Read: 955.91 MB/s
Write: 687.14 MB/s
------------------------------
Access Times:
------------------------------
Read: 0.038 ms
Write: 0.344 ms
------------------------------
Score:
------------------------------
Read: 1283
Write: 929
Total: 2796
------------------------------

AS SSD Benchmark 2.0.6485.19676
------------------------------
Name: SAMSUNG MZQLB960HAJR-00007
Firmware: EDA5202Q
Controller: stornvme
Offset: 16384 K - OK
Size: 894.25 GB
Date: 2019/09/15 22:04:43
Note: MZQLB960HAJR-00007
------------------------------
16MB
------------------------------
Read: 178.59 iops
Write: 79.75 iops
------------------------------
4K:
------------------------------
Read: 10607 iops
Write: 29373 iops
------------------------------
4K-64Threads:
------------------------------
Read: 244714 iops
Write: 175909 iops
------------------------------
512B
------------------------------
Read: 26622 iops
Write: 2910 iops
------------------------------
Score:
------------------------------
Read: 1283
Write: 929
Total: 2796
------------------------------

搭載キャッシュ容量は不明。

Crystal Disk Markを何度か試した限り、テストサイズ1GiBの時は測定のブレも少なく安定した結果が得られるが、32GiBでは特に書き込み速度で測定結果のバラつきが見られた。恐らくキャッシュ溢れの影響だと思われる。ワーストケースでは4K1Tで60MB/sまで低下するのを確認している。

ちなみに、PCIe 2.0x4で接続した場合は↓こんな感じ。

当初、PCIe 2.0スロットに挿してたのに気付かず「Sequential Read: (960GB) Up to 3000 MB/sって書いてあったけどこんなもんか…」と思ったのは内緒。

permalink · 2019-09-15 23:39 · Decomo · 59 Comments · Tags:

Windows 10 May 2019 Update（バージョン1903）において、Intel CPU内蔵GPUで動いているPCにリモートデスクトップ接続すると、リモデの画面が真っ黒になったりログインしています画面で固まったりする。WDDMドライバが何やら悪さしているらしく、グループポリシエディタでRDP時のWDDMグラフィックスドライバ使用を無効化すれば回避できるっぽい。

グループポリシーエディターを起動する（検索窓にgpeditと入れるのが手っ取り早い）
以下のツリーたどり「リモートデスクトップ接続にWDDMグラフィックディスプレイドライバーを使用する」の設定を開く
- コンピューターの構成
  - 管理用テンプレート
    - Windowsコンポーネント
      - リモートデスクトップサービス
        
        リモートデスクトップセッションホスト
        
        リモートセッション環境
「無効」にチェックを入れOKを押す
Windowsを再起動する

公式には一部のIntel GPUでの問題とされているが、しょぼいGPU全般で起こるような気がするんですけど。自分が遭遇した限りでは、Intel GPU、VirtualBoxのVBoxVGA（アクセラレーションなし）、bhyveの各Windows環境で発生してるんですけど！

それどころか、言及されてるの見たことないけど、問題発生時は画面回りのみならずネットワーク周りも道連れに死んでる気がするんですけど！これも先の各環境で再現するんですけど！！超不便だし許さんぞMS……

permalink · 2019-09-06 23:59 · Decomo · 0 Comments · Tags:

真っ当な流通ルートで購入できるものでは世界最安¹⁾と思われる40GbE対応スイッチ、CRS326-24S+2Q+RMがやってきた！流石は俺たちのMikroTik！！とかいいつつ、同社の製品を買うのは初めてだったりする。

このページに辿り着くくらいの人には釈迦に説法だろうけど、CRS326-24S+2Q+RMは10ギガビット対応のSFP+ポートを24個、加えて40ギガビット対応のQSFP+ポートを2つ備えながら499ドルという超破格を実現した頭おかしいスイッチである。普通に考えたら499ドルは結構な額だが、この性能でこの額は本当に価格破壊もいいところ。しかもEuroDKでは384ドルで売ってる（）。マジでありえん。

というわけで誘惑に勝てずに買ってしまった。8/22(木)に注文して26(月)に配達される40GbE顔負けの高速配送っぷりだったけど、結局受け取りは週末までお預け。送料やら消費税やらで、最終的に448ドル＋1900円となった。

設置場所の問題やらMPOケーブル不足やらで本格的には試せてないが、ひとまず下表環境のiperf3 (MTU=1500)で28Gbpsほど出ることは確認。

	サーバ	クライアント
OS	FreeBSD 11.2-RELEASE (x64)	Windows 10 Pro. (x64)
M/B	Supermicro X10DRi	MSI X370 SLI PLUS
CPU	Xeon E5-2648L v3 @1.8GHz	Ryzen 7 1700 @3.0GHz
RAM	Registered DDR4-2400 16GB×4 (2133MHz駆動)	DDR4-2666 16GB×4
NIC	ConnectX-3 Pro EN (PCIe 3.0x8)

使われてるスイッチチップは98DX8332っぽい。明言はされてないけど、2.5GbE/5GbEにも対応してる予感…？ポートの速度設定画面にチェックボックスがあるんですけど……。

OSはRouterOSとSwOSのデュアル対応なので、一応L3の処理も可能。だけどスイッチチップで処理できないものはCPU処理となるうえ、内部リンクは1Gbpsなので折角の性能が死ぬ。なので素直にL2スイッチとして使うか、軽めのフィルタでWANを受けるとかに留めるのが吉。幸い10Gポートは腐るほどあるからLAG組んでL3処理は上位ルータに投げてしまえばいいかと。AT-x510-28GTXも泣いて喜ぶね！

ざっくり消費電力は以下の通り。

状況	消費電力
待機（SFPモジュールは一切挿してない状態）	13W
待機（40GBASE-SR4×2でリンクアップ）	15～16W
40GBASE-SR4でiperf実行	17W

出荷時のRouterOSバージョンではファンが結構うるさいが、6.45.5に更新したらかなり静かになった。基本は停止、内部温度に応じて回転数可変のなかなかアグレッシブな制御をしてくれるようになる。消費電力とあわせて一般のご家庭にも大変やさしい仕様と言える。ありがとうMikroTik。なお、回転時はそれなりに音がする。風切り音よりファン自体の回転音が大きい感じ。個人的には許容範囲内だけど気になる人は気になると思われる。

¹⁾

2019年9月4日現在

permalink · 2019-09-04 22:01 · Decomo · 81 Comments · Tags:

表題の通り、ZoLにRAID-Z Expansionのパッチがコミットされていた→[WIP] raidz expansion, alpha preview 1 by ahrens · Pull Request #8853 · zfsonlinux/zfs · GitHub

まだα版ながらRAID-Z Expansionしたプールのimport/export、expansionのバックグランド実行等、基本的には動いているものの、不具合が発生した時はデータ消失の危険や、ディスクフォーマットは最終リリースとは異なるためテスト用とのこと。試される方は自己責任でオナシャス。

permalink · 2019-08-27 11:37 · Decomo · 0 Comments · Tags: