知人から「なんかサーバのHDDがオレンジになってるんだけど…」という一報があった。

恐る恐るMegaRAID Storage Managerで状態を見てみると、Unexpected senseやらCommand timeoutやらPower on, reset, or bus device reset occurredやらが出てアレイがデグレってた:( ;´꒳`;):。マシンはDELL PowerEdge T330, PERC H730で、アレイはMD050ACA800×4, WD80EFAX×4でRAID-6からVDを2つ切り出してるという構成。稼働してまだ10カ月くらい。そのうち1つのWD80EFAXが切り離されていた。ログは↓な感じで。

 ID | TIME                | MESSAGE
----+---------------------+---------------------
267 | 2019-10-30 08:51:57 | Controller ID:  0  Command timeout on PD:   PD       =   -:-:5 No addtional sense information,   CDB   =    0x8a 0x00 0x00 0x00 0x00 0x02 0xd3 0x03 0xb9 0x00 0x00 0x00 0x00 0x80 0x00 0x00    ,   Sense   =   ,   Path   =       0x4433221103000000
267 | 2019-10-30 08:51:57 | Controller ID:  0  Command timeout on PD:   PD       =   -:-:5 No addtional sense information,   CDB   =    0x8a 0x00 0x00 0x00 0x00 0x02 0xd3 0x03 0xba 0x00 0x00 0x00 0x00 0x80 0x00 0x00    ,   Sense   =   ,   Path   =       0x4433221103000000
268 | 2019-10-30 08:51:57 | Controller ID:  0  PD Reset:   PD       =   -:-:5,   Critical       =   3,   Path   =       0x4433221103000000
267 | 2019-10-30 08:52:09 | Controller ID:  0  Command timeout on PD:   PD       =   -:-:5 No addtional sense information,   CDB   =    0x8a 0x00 0x00 0x00 0x00 0x02 0xd3 0x03 0xbc 0x80 0x00 0x00 0x00 0x80 0x00 0x00    ,   Sense   =   ,   Path   =       0x4433221103000000
268 | 2019-10-30 08:52:09 | Controller ID:  0  PD Reset:   PD       =   -:-:5,   Critical       =   3,   Path   =       0x4433221103000000
113 | 2019-10-30 08:52:13 | Controller ID:  0   Unexpected sense:   PD       =   -:-:5 Logical unit not ready, cause not reportable,   CDB   =    0x8a 0x00 0x00 0x00 0x00 0x02 0xd3 0x03 0xbc 0x80 0x00 0x00 0x00 0x80 0x00 0x00    ,   Sense   =    0x70 0x00 0x02 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x04 0x00 0x00 0x00 0x00 0x00
113 | 2019-10-30 08:52:14 | Controller ID:  0   Unexpected sense:   PD       =   -:-:5 Power on, reset, or bus device reset occurred,   CDB   =    0x1b 0x01 0x00 0x00 0x01 0x00    ,   Sense   =    0x70 0x00 0x06 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x29 0x00 0x00 0x00 0x00 0x00
113 | 2019-10-30 08:52:15 | Controller ID:  0   Unexpected sense:   PD       =   -:-:5 Power on, reset, or bus device reset occurred,   CDB   =    0x8a 0x00 0x00 0x00 0x00 0x02 0xd3 0x03 0xbc 0x80 0x00 0x00 0x00 0x80 0x00 0x00    ,   Sense   =    0x70 0x00 0x06 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x29 0x00 0x00 0x00 0x00 0x00
267 | 2019-10-30 08:52:36 | Controller ID:  0  Command timeout on PD:   PD       =   -:-:5 No addtional sense information,   CDB   =    0x1b 0x01 0x00 0x00 0x01 0x00    ,   Sense   =   ,   Path   =       0x4433221103000000
268 | 2019-10-30 08:52:36 | Controller ID:  0  PD Reset:   PD       =   -:-:5,   Critical       =   3,   Path   =       0x4433221103000000
87  | 2019-10-30 08:52:37 | Controller ID:  0   PD Error:   -:-:5      ( Critical   240)
114 | 2019-10-30 08:52:37 | Controller ID:  0   State change:   PD       =   -:-:5  Previous   =   Online      Current   =   Failed
81  | 2019-10-30 08:52:37 | Controller ID:  0   State change on VD:   0      Previous   =   Optimal  Current   =       Partially Degraded
250 | 2019-10-30 08:52:37 | Controller ID:  0  VD is now PARTIALLY DEGRADED   VD   0
81  | 2019-10-30 08:52:37 | Controller ID:  0   State change on VD:   1      Previous   =   Optimal  Current   =       Partially Degraded
250 | 2019-10-30 08:52:37 | Controller ID:  0  VD is now PARTIALLY DEGRADED   VD   1
113 | 2019-10-30 08:52:37 | Controller ID:  0   Unexpected sense:   PD       =   -:-:5 Power on, reset, or bus device reset occurred,   CDB   =    0x8a 0x00 0x00 0x00 0x00 0x02 0xd3 0x03 0xc2 0x00 0x00 0x00 0x00 0x80 0x00 0x00    ,   Sense   =    0x70 0x00 0x06 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x29 0x00 0x00 0x00 0x00 0x00
114 | 2019-10-30 10:45:49 | Controller ID:  0   State change:   PD       =   -:-:5  Previous   =   Failed      Current   =   Online
81  | 2019-10-30 10:45:49 | Controller ID:  0   State change on VD:   0      Previous   =   Partially Degraded  Current   =       Optimal
249 | 2019-10-30 10:45:49 | Controller ID:  0  VD is now OPTIMAL   VD   0
81  | 2019-10-30 10:45:49 | Controller ID:  0   State change on VD:   1      Previous   =   Partially Degraded  Current   =       Optimal
249 | 2019-10-30 10:45:49 | Controller ID:  0  VD is now OPTIMAL   VD   1
113 | 2019-10-30 10:45:49 | Controller ID:  0   Unexpected sense:   PD       =   -:-:5 Power on, reset, or bus device reset occurred,   CDB   =    0x8a 0x00 0x00 0x00 0x00 0x00 0x00 0x12 0x51 0x28 0x00 0x00 0x00 0x38 0x00 0x00    ,   Sense   =    0x70 0x00 0x06 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x29 0x00 0x00 0x00 0x00 0x00

それらしい単語でググってみると、何やらファームの良く知られたちょっとしたバグ？らしく、無視しておｋとのこと。タイムアウトでHDDが切り離されちゃってるのは気になるところだけど…。

サーバは遠隔地にあるため実物は確認できてないが、HDDそのものは動いてはいるようなので、オンラインにしてConsistency Checkを掛けた。今のところ問題なく動いているようだ。

なおパリティの再構成時間は、200GB（内22GB使用中）のVDで4分（196か所訂正）、54TB（内21.6TB使用中）のVDで17時間（11953か所訂正）だった。

• [SOLVED] MegaRaid Sense Errors - Server Hardware - Spiceworks
• With new MegaRAID firmware, error "Unexpected sense/- Invalid field in CDB"

FreeBSDのcpコマンドは拡張ファイル属性を一切コピーしない。FreeBSD 12.0-RELEASE-p4で確認。すなわち、現時点ではFreeBSDでcpすると拡張ファイル属性が失われる。

「-pオプションを付ければいいんじゃね？」と思ったあなた、あまーい！cpのmanにある通り、-pオプションはファイルの変更日時、アクセス日時、フラグ、パーミッション、ACL、UID、GIDしか保持しない。

ここに拡張ファイル属性付きのファイルhasxattr.txtがある。

$ ls -al
total 42
drwxr-xr-x   2 Decomo  Decomo    3 10月 22 00:11 .
drwxr-xr-x  56 Decomo  Decomo  190 10月 21 23:43 ..
-rwxr--r--   1 Decomo  Decomo    0 10月 21 23:49 hasxattr.txt
$ lsextattr user *
hasxattr.txt    OpusMetaInformation     DOSATTRIB

OpusMetaInformationとDOSATTRIBってのが拡張属性の名前。

で、ファイルをcp -pして拡張属性を表示してみると…

$ cp -p hasxattr.txt hasxattr_cp-p.txt
$ lsextattr user *
hasxattr.txt    OpusMetaInformation     DOSATTRIB
hasxattr_cp-p.txt

＼(^o^)／

見事にコピー先のファイル（hasxattr_cp-p.txt）から拡張属性が消えている。

ファイラーで表示させてみても見事にコピーした方は拡張ファイル属性が消えていることが分かる。（ファイルのオレンジ色表示がOpusMetaInformationっていう拡張ファイル属性に保存されてる。）

拡張ファイル属性好きとしては悲しい、というか困る。

sysutils/coreutilsに入ってるGNU cpならどうだと試してみるも、つれないお返事…

$ gcp --preserve=xattr hasxattr.txt hasxattr_gcp.txt
gcp: 拡張属性を保護できません。cp が xattr サポートなしで作成されています

rsync -Xやmvでは拡張ファイル属性が保持される。

$ rsync -X hasxattr.txt hasxattr_rsync.txt
$ mv hasxattr.txt hasxattr_mv.txt
$ lsextattr user *
hasxattr_cp-p.txt
hasxattr_mv.txt OpusMetaInformation     DOSATTRIB
hasxattr_rsync.txt      OpusMetaInformation     DOSATTRIB

調べてたら、FreeBSD/Linux/MacOSのコマンド別に拡張ファイル属性の対応状況が書いてある素敵なぺージを発見。
Extended attributes: the good, the not so good, the bad.

それにしても、coreutilsのビルドオプションでgcpの拡張ファイル属性対応を選べるようにして欲しいなぁ…。

Supermicroのマザボ、X10DRiは普通にNVMeデバイスからのブートに対応しているようだ。

何をいまさらと思われるかもしれないが、M.2スロットは載ってないし、公式の明確な対応情報も見当たらないばかりか、FAQでも（姉妹モデルのだけど）対応/非対応の情報が載ってて良くわからなかったのよ。

• X10DRi-TはSamsung 970 PROのブートに対応してる？
  • してない。本M/BのAMIネイティブモジュールは970非対応
• X10DAiでAOC-SLG3-2M2を使ったM.2ブートできる？
  • できない。本M/BはM.2のネイティブサポートはしてない。エンプラ向けのOption ROM付きのM.2 SSDならブートできる。
• X10DAiはOption ROMなしのPCIe NVMeからブートできる？
  • できない。BIOSはNVMeのネイティブ対応してない。起動デバイスのOption ROMないと無理。
• X10DAiはNVMe PCIe SSDのブート対応してる？
  • UEFIモードで対応してる。PCIeのOption ROMをLegacyからUEFIに変更せよ。

こんな具合。とりあえずOption ROM使えばブートできるのは間違いない。

Supermicroだし鯖向けマザーだし当然NVMeブート対応してるだろうと、大して深く考えずにPM983をポチっちゃったのが前回というわけでして。まぁ、後の調査で、Samsung DC Toolkitなるものを使えばPM983にOption ROMのダウンロードできそうだし、最悪Clover EFI bootloaderでどうにかなるだろうと思いつつ組み込んでみたら、余裕で対応してた。

Option ROMをDisabledにしても、変わらずBIOSで認識されるのでネイティブ対応してると思う。多分。

BIOS Revision: 3.1bでの結果でござる。もし使えなかったらさーせん。

SAMSUNGのエンタープライズ向けSSD、PM983シリーズの960GBモデルMZQLB960HAJR-00007がやってきた。宅内ネットワークの40GbE化により、サーバのストレージがSATAのSSDでは物足りなくなったため、うっかりポチってしまった。

速度的には最近のM.2なSSDの方が速かったりするんだけど、少しくらい遅くてもエンプラ向けの高信頼品が欲しかったのですよ。で、eBay見てたら販売店テスト済みの中古品が1万円弱だったので2台買っちゃった。PM963, PM953あたりなら同価格で新古品がそこそこ出回ってるようだが、中古とはいえPM983が1万円はなかなかのお買い得品。スペックは以下の通り。

• シーケンシャル
  • Read 3000MB/s
  • Write 1050MB/s
• ランダム
  • Read 400000 IOPS
  • Write 40000 IOPS
• 1.3 DWPD (TBW=1366TB)
• TLC (3bit MLC VNAND)

9/2に注文して受け取れたのは9/14。届いたモノは、綺麗な外観の書き込み量は1TB弱で、中古としては上々と言える。

1GB		AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:03:59 Note: MZQLB960HAJR-00007 ------------------------------ Sequential: ------------------------------ Read: 2569.63 MB/s Write: 1294.86 MB/s ------------------------------ 4K: ------------------------------ Read: 41.92 MB/s Write: 113.66 MB/s ------------------------------ 4K-64Threads: ------------------------------ Read: 1365.31 MB/s Write: 1254.64 MB/s ------------------------------ Access Times: ------------------------------ Read: 0.036 ms Write: 0.034 ms ------------------------------ Score: ------------------------------ Read: 1664 Write: 1498 Total: 3951 ------------------------------	AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:22 Note: MZQLB960HAJR-00007 ------------------------------ 16MB ------------------------------ Read: 160.60 iops Write: 80.93 iops ------------------------------ 4K: ------------------------------ Read: 10731 iops Write: 29098 iops ------------------------------ 4K-64Threads: ------------------------------ Read: 349520 iops Write: 321189 iops ------------------------------ 512B ------------------------------ Read: 27858 iops Write: 29645 iops ------------------------------ Score: ------------------------------ Read: 1664 Write: 1498 Total: 3951 ------------------------------
10GB		AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:08 Note: MZQLB960HAJR-00007 ------------------------------ Sequential: ------------------------------ Read: 2857.39 MB/s Write: 1275.96 MB/s ------------------------------ 4K: ------------------------------ Read: 41.43 MB/s Write: 114.74 MB/s ------------------------------ 4K-64Threads: ------------------------------ Read: 955.91 MB/s Write: 687.14 MB/s ------------------------------ Access Times: ------------------------------ Read: 0.038 ms Write: 0.344 ms ------------------------------ Score: ------------------------------ Read: 1283 Write: 929 Total: 2796 ------------------------------	AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:43 Note: MZQLB960HAJR-00007 ------------------------------ 16MB ------------------------------ Read: 178.59 iops Write: 79.75 iops ------------------------------ 4K: ------------------------------ Read: 10607 iops Write: 29373 iops ------------------------------ 4K-64Threads: ------------------------------ Read: 244714 iops Write: 175909 iops ------------------------------ 512B ------------------------------ Read: 26622 iops Write: 2910 iops ------------------------------ Score: ------------------------------ Read: 1283 Write: 929 Total: 2796 ------------------------------

搭載キャッシュ容量は不明。

Crystal Disk Markを何度か試した限り、テストサイズ1GiBの時は測定のブレも少なく安定した結果が得られるが、32GiBでは特に書き込み速度で測定結果のバラつきが見られた。恐らくキャッシュ溢れの影響だと思われる。ワーストケースでは4K1Tで60MB/sまで低下するのを確認している。

ちなみに、PCIe 2.0x4で接続した場合は↓こんな感じ。

当初、PCIe 2.0スロットに挿してたのに気付かず「Sequential Read: (960GB) Up to 3000 MB/sって書いてあったけどこんなもんか…」と思ったのは内緒。

Windows 10 May 2019 Update（バージョン1903）において、Intel CPU内蔵GPUで動いているPCにリモートデスクトップ接続すると、リモデの画面が真っ黒になったりログインしています画面で固まったりする。WDDMドライバが何やら悪さしているらしく、グループポリシエディタでRDP時のWDDMグラフィックスドライバ使用を無効化すれば回避できるっぽい。

1. グループポリシーエディターを起動する（検索窓にgpeditと入れるのが手っ取り早い）
2. 以下のツリーたどり「リモートデスクトップ接続にWDDMグラフィックディスプレイドライバーを使用する」の設定を開く
   • コンピューターの構成
     • 管理用テンプレート
       • Windowsコンポーネント
         • リモートデスクトップサービス
           • リモートデスクトップセッションホスト
             • リモートセッション環境
   • 
3. 「無効」にチェックを入れOKを押す
4. Windowsを再起動する

公式には一部のIntel GPUでの問題とされているが、しょぼいGPU全般で起こるような気がするんですけど。自分が遭遇した限りでは、Intel GPU、VirtualBoxのVBoxVGA（アクセラレーションなし）、bhyveの各Windows環境で発生してるんですけど！

それどころか、言及されてるの見たことないけど、問題発生時は画面回りのみならずネットワーク周りも道連れに死んでる気がするんですけど！これも先の各環境で再現するんですけど！！超不便だし許さんぞMS……