start

NVMe SSDのRelative Performanceについて

smartmontoolsでNVMe SSDの出力結果を見てた際、Supported LBA Sizesの「Rel_Perf」という項目に目が止まった。

調べてみたところ、NVMe規格の定める「Relative Performance」(RP)を表す値のようだ。

NVMe SSD製品には複数のLBAサイズ(セクタサイズ)に対応し、切り替えて使えるものがある。構成するハードウェアの状況に合わせ、SSDが512バイトセクタや4kセクタのように振る舞うことができるというわけ。主にエンタープライズ用途で使われる機能と思われる。

こうした複数のLBAサイズが選択可能な状況で、RP値はそのデバイスにおけるLBA設定間の相対性能を表す指標とされている。2ビット値につき、取りうる値は0~3で、意味は下表のとおりである。

RP値 意味
0 最高性能 (Best Performance)
1 より良い性能 (Better Performance)
2 良い性能 (Good Performance)
3 低下した性能 (Degraded Performance)

LBAサイズ設定時は、基本的にRPが0に近いものを選定しとけばよさそう。

Micron 9200 MAXの場合、図にあるように512バイトLBAより4k LBAの方が性能が良いことを示唆している。

ところで、なんでこのSSDはLBAサイズが4つもあるの…?それ自体はエンプラ向けでは珍しくないことだが、0~1と2~3の違いは無いように見えるんですけど……謎。

Micron 9200 MAX 1.6TBのベンチマーク

MicronのU.2接続なSSD、9200 MAX 1.6TB (MTFDHAL1T6TCU)を買ったので恒例のベンチマーク。

公称スペックは以下のとおり。

  • シーケンシャル
    • 読み込み 3500 MB/s
    • 書き込み 1900 MB/s
  • ランダム
    • 読み込み 680000 IOPS
    • 書き込み 255000 IOPS
  • TBW: 17.5PB

もちろん中古購入でS.M.A.R.T.はこんな感じ。

使用時間10047時間≒418日で、電源投入回数45回ってことは間違いなくどこかのサーバに積まれてたものだろうけど、その割に投入回数が多いような気がしなくもない。単純計算で10日に1回でしょ?読み書き量が少なめなのも謎。

1GB
MB/s
IOPS
レイテンシ
------------------------------------------------------------------------------
CrystalDiskMark 8.0.0 x64 (C) 2007-2020 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
  SEQ    1MiB (Q=  8, T= 1):  2638.535 MB/s [   2516.3 IOPS] <  3175.35 us>
  SEQ    1MiB (Q=  1, T= 1):  1357.518 MB/s [   1294.6 IOPS] <   771.60 us>
  RND    4KiB (Q= 32, T= 1):   339.511 MB/s [  82888.4 IOPS] <   373.57 us>
  RND    4KiB (Q=  1, T= 1):    25.252 MB/s [   6165.0 IOPS] <   161.80 us>

[Write]
  SEQ    1MiB (Q=  8, T= 1):  2011.884 MB/s [   1918.7 IOPS] <  4159.85 us>
  SEQ    1MiB (Q=  1, T= 1):  1875.930 MB/s [   1789.0 IOPS] <   558.13 us>
  RND    4KiB (Q= 32, T= 1):   293.463 MB/s [  71646.2 IOPS] <   432.32 us>
  RND    4KiB (Q=  1, T= 1):   132.838 MB/s [  32431.2 IOPS] <    30.53 us>

Profile: Default
   Test: 1 GiB (x5) [H: 0% (0/1490GiB)]
   Mode: [Admin]
   Time: Measure 5 sec / Interval 5 sec 
   Date: 2020/11/27 20:47:10
     OS: Windows 10 Professional [10.0 Build 19041] (x64)
Comment: Micron 9200 MAX 1.6TB
1GB 32GB
MB/s
IOPS
レイテンシ
------------------------------------------------------------------------------
CrystalDiskMark 8.0.0 x64 (C) 2007-2020 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
  SEQ    1MiB (Q=  8, T= 1):  2672.030 MB/s [   2548.2 IOPS] <  3131.79 us>
  SEQ  128KiB (Q= 32, T= 1):  2520.132 MB/s [  19227.1 IOPS] <  1661.55 us>
  RND    4KiB (Q= 32, T=16):  1474.630 MB/s [ 360017.1 IOPS] <  1416.91 us>
  RND    4KiB (Q=  1, T= 1):    23.020 MB/s [   5620.1 IOPS] <   177.46 us>

[Write]
  SEQ    1MiB (Q=  8, T= 1):  2009.463 MB/s [   1916.4 IOPS] <  4157.97 us>
  SEQ  128KiB (Q= 32, T= 1):  1999.890 MB/s [  15257.9 IOPS] <  2093.33 us>
  RND    4KiB (Q= 32, T=16):  1074.929 MB/s [ 262433.8 IOPS] <  1890.13 us>
  RND    4KiB (Q=  1, T= 1):   125.642 MB/s [  30674.3 IOPS] <    32.28 us>

Profile: Default
   Test: 1 GiB (x5) [H: 0% (0/1490GiB)]
   Mode: [Admin]
   Time: Measure 5 sec / Interval 5 sec 
   Date: 2020/11/27 20:53:28
     OS: Windows 10 Professional [10.0 Build 19041] (x64)
Comment: Micron 9200 MAX 1.6TB (NVMe SSD)
------------------------------------------------------------------------------
CrystalDiskMark 8.0.0 x64 (C) 2007-2020 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
  SEQ    1MiB (Q=  8, T= 1):  3559.011 MB/s [   3394.1 IOPS] <  2354.13 us>
  SEQ  128KiB (Q= 32, T= 1):  3562.092 MB/s [  27176.6 IOPS] <  1174.93 us>
  RND    4KiB (Q= 32, T=16):  1965.045 MB/s [ 479747.3 IOPS] <  1032.14 us>
  RND    4KiB (Q=  1, T= 1):    35.869 MB/s [   8757.1 IOPS] <   113.71 us>

[Write]
  SEQ    1MiB (Q=  8, T= 1):  1989.156 MB/s [   1897.0 IOPS] <  4205.01 us>
  SEQ  128KiB (Q= 32, T= 1):  2013.703 MB/s [  15363.3 IOPS] <  2078.83 us>
  RND    4KiB (Q= 32, T=16):  1462.729 MB/s [ 357111.6 IOPS] <  1387.32 us>
  RND    4KiB (Q=  1, T= 1):   130.202 MB/s [  31787.6 IOPS] <    31.17 us>

Profile: Default
   Test: 32 GiB (x5) [H: 0% (0/1490GiB)]
   Mode: [Admin]
   Time: Measure 5 sec / Interval 5 sec 
   Date: 2020/11/27 21:05:36
     OS: Windows 10 Professional [10.0 Build 19041] (x64)
Comment: Micron 9200 MAX 1.6TB (NVMe SSD)
1GB 10GB
MB/s
IOPS

ベンチしてて気になったのは、S.M.A.R.T.が報告する温度が高めということ。

最初、バラック状態でやってたら70℃近くまで上がったため、急遽ファンで直接風をあてた。本当に70℃まで上がってたら熱くて触れないハズだが、実際は多少熱いくらいの温度感だった。15mm厚のSSDかつゴツい金属製筐体なので放熱性は良さそうなんですがね…。

ドライブ内部の一番ホットな部分の温度を示してるのか、センサー故障で高めの値なのか真相は不明。

それと、PCIeのリンク状態が割とシビアな気がする。2台のマシンで、PCIeスロットにマウントするタイプの変換カード、PCIe→SFF-8643→SFF-8639ケーブルのそれぞれで接続したが、どちらとも最初はPCIe 2.0でのリンクアップとなってしまった。コネクタ抜き差しでPCIe 3.0で繋がったものの、少々気がかりではある。

Supermicro X10DRiは普通にNVMeブート対応してるっぽい?

Supermicroのマザボ、X10DRiは普通にNVMeデバイスからのブートに対応しているようだ。

何をいまさらと思われるかもしれないが、M.2スロットは載ってないし、公式の明確な対応情報も見当たらないばかりか、FAQでも(姉妹モデルのだけど)対応/非対応の情報が載ってて良くわからなかったのよ。

こんな具合。とりあえずOption ROM使えばブートできるのは間違いない。

Supermicroだし鯖向けマザーだし当然NVMeブート対応してるだろうと、大して深く考えずにPM983をポチっちゃったのが前回というわけでして。まぁ、後の調査で、Samsung DC Toolkitなるものを使えばPM983にOption ROMのダウンロードできそうだし、最悪Clover EFI bootloaderでどうにかなるだろうと思いつつ組み込んでみたら、余裕で対応してた。

Option ROMをDisabledにしても、変わらずBIOSで認識されるのでネイティブ対応してると思う。多分。

BIOS Revision: 3.1bでの結果でござる。もし使えなかったらさーせん。

SAMSUNG PM983 960GBのベンチマーク

SAMSUNGのエンタープライズ向けSSD、PM983シリーズの960GBモデルMZQLB960HAJR-00007がやってきた。宅内ネットワークの40GbE化により、サーバのストレージがSATAのSSDでは物足りなくなったため、うっかりポチってしまった。

速度的には最近のM.2なSSDの方が速かったりするんだけど、少しくらい遅くてもエンプラ向けの高信頼品が欲しかったのですよ。で、eBay見てたら販売店テスト済みの中古品が1万円弱だったので2台買っちゃった。PM963, PM953あたりなら同価格で新古品がそこそこ出回ってるようだが、中古とはいえPM983が1万円はなかなかのお買い得品。スペックは以下の通り。

  • シーケンシャル
    • Read 3000MB/s
    • Write 1050MB/s
  • ランダム
    • Read 400000 IOPS
    • Write 40000 IOPS
  • 1.3 DWPD (TBW=1366TB)
  • TLC (3bit MLC VNAND)

9/2に注文して受け取れたのは9/14。届いたモノは、綺麗な外観の書き込み量は1TB弱で、中古としては上々と言える。

1GB
CrystalDiskMark 6.0.2 x64 (C) 2007-2018 hiyohiyo

   Sequential Read (Q= 32,T= 1) :  3477.878 MB/s
  Sequential Write (Q= 32,T= 1) :  1343.090 MB/s
  Random Read 4KiB (Q=  8,T= 8) :  1420.408 MB/s [ 346779.3 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :  1031.596 MB/s [ 251854.5 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :   284.364 MB/s [  69424.8 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :   249.212 MB/s [  60842.8 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :    47.538 MB/s [  11606.0 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :   144.743 MB/s [  35337.6 IOPS]

  Test : 1024 MiB [G: 0.0% (0.1/894.2 GiB)] (x5)  [Interval=0 sec]
  Date : 2019/09/15 22:02:39
    OS : Windows 10 Professional [10.0 Build 18362] (x64)
    SAMSUNG MZQLB960HAJR-00007 (PCIe 3.0)
32GB
CrystalDiskMark 6.0.2 x64 (C) 2007-2018 hiyohiyo

   Sequential Read (Q= 32,T= 1) :  3474.642 MB/s
  Sequential Write (Q= 32,T= 1) :  1156.368 MB/s
  Random Read 4KiB (Q=  8,T= 8) :  1423.327 MB/s [ 347491.9 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :   388.278 MB/s [  94794.4 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :   291.644 MB/s [  71202.1 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :   172.880 MB/s [  42207.0 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :    47.276 MB/s [  11542.0 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :   136.357 MB/s [  33290.3 IOPS]

  Test : 32768 MiB [G: 0.0% (0.1/894.2 GiB)] (x5)  [Interval=0 sec]
  Date : 2019/09/15 22:03:08
    OS : Windows 10 Professional [10.0 Build 18362] (x64)
    SAMSUNG MZQLB960HAJR-00007 (PCIe 3.0)
1GB
AS SSD Benchmark 2.0.6485.19676
------------------------------
Name: SAMSUNG MZQLB960HAJR-00007
Firmware: EDA5202Q
Controller: stornvme
Offset: 16384 K - OK
Size: 894.25 GB
Date: 2019/09/15 22:03:59
Note: MZQLB960HAJR-00007
------------------------------
Sequential:
------------------------------
Read: 2569.63 MB/s
Write: 1294.86 MB/s
------------------------------
4K:
------------------------------
Read: 41.92 MB/s
Write: 113.66 MB/s
------------------------------
4K-64Threads:
------------------------------
Read: 1365.31 MB/s
Write: 1254.64 MB/s
------------------------------
Access Times:
------------------------------
Read: 0.036 ms
Write: 0.034 ms
------------------------------
Score:
------------------------------
Read: 1664
Write: 1498
Total: 3951
------------------------------
AS SSD Benchmark 2.0.6485.19676
------------------------------
Name: SAMSUNG MZQLB960HAJR-00007
Firmware: EDA5202Q
Controller: stornvme
Offset: 16384 K - OK
Size: 894.25 GB
Date: 2019/09/15 22:04:22
Note: MZQLB960HAJR-00007
------------------------------
16MB
------------------------------
Read: 160.60 iops
Write: 80.93 iops
------------------------------
4K:
------------------------------
Read: 10731 iops
Write: 29098 iops
------------------------------
4K-64Threads:
------------------------------
Read: 349520 iops
Write: 321189 iops
------------------------------
512B
------------------------------
Read: 27858 iops
Write: 29645 iops
------------------------------
Score:
------------------------------
Read: 1664
Write: 1498
Total: 3951
------------------------------
10GB
AS SSD Benchmark 2.0.6485.19676
------------------------------
Name: SAMSUNG MZQLB960HAJR-00007
Firmware: EDA5202Q
Controller: stornvme
Offset: 16384 K - OK
Size: 894.25 GB
Date: 2019/09/15 22:04:08
Note: MZQLB960HAJR-00007
------------------------------
Sequential:
------------------------------
Read: 2857.39 MB/s
Write: 1275.96 MB/s
------------------------------
4K:
------------------------------
Read: 41.43 MB/s
Write: 114.74 MB/s
------------------------------
4K-64Threads:
------------------------------
Read: 955.91 MB/s
Write: 687.14 MB/s
------------------------------
Access Times:
------------------------------
Read: 0.038 ms
Write: 0.344 ms
------------------------------
Score:
------------------------------
Read: 1283
Write: 929
Total: 2796
------------------------------
AS SSD Benchmark 2.0.6485.19676
------------------------------
Name: SAMSUNG MZQLB960HAJR-00007
Firmware: EDA5202Q
Controller: stornvme
Offset: 16384 K - OK
Size: 894.25 GB
Date: 2019/09/15 22:04:43
Note: MZQLB960HAJR-00007
------------------------------
16MB
------------------------------
Read: 178.59 iops
Write: 79.75 iops
------------------------------
4K:
------------------------------
Read: 10607 iops
Write: 29373 iops
------------------------------
4K-64Threads:
------------------------------
Read: 244714 iops
Write: 175909 iops
------------------------------
512B
------------------------------
Read: 26622 iops
Write: 2910 iops
------------------------------
Score:
------------------------------
Read: 1283
Write: 929
Total: 2796
------------------------------

搭載キャッシュ容量は不明。

Crystal Disk Markを何度か試した限り、テストサイズ1GiBの時は測定のブレも少なく安定した結果が得られるが、32GiBでは特に書き込み速度で測定結果のバラつきが見られた。恐らくキャッシュ溢れの影響だと思われる。ワーストケースでは4K1Tで60MB/sまで低下するのを確認している。

ちなみに、PCIe 2.0x4で接続した場合は↓こんな感じ。

当初、PCIe 2.0スロットに挿してたのに気付かず「Sequential Read: (960GB) Up to 3000 MB/sって書いてあったけどこんなもんか…」と思ったのは内緒。

東芝のエンプラ向けSSD THNSNJ960PCSZ (HK3R2 960GB) 購入

これまでSSDはIntel DCシリーズを買ってきたが、今回はTOSHIBAの読み出し重視型エンタープライズ向けSSD THNSNJ960PCSZを買ってみた。例によって例によって中古。新品じゃ高くて買えませんからね。それでもっていつものごとくベンチ。今回もSATA接続。

-----------------------------------------------------------------------
CrystalDiskMark 6.0.0 x64 (C) 2007-2017 hiyohiyo
                          Crystal Dew World : https://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   552.067 MB/s
  Sequential Write (Q= 32,T= 1) :   519.592 MB/s
  Random Read 4KiB (Q=  8,T= 8) :   377.485 MB/s [  92159.4 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :   353.540 MB/s [  86313.5 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :   269.954 MB/s [  65906.7 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :   231.575 MB/s [  56536.9 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :    35.232 MB/s [   8601.6 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :    91.411 MB/s [  22317.1 IOPS]

  Test : 4096 MiB [D: 0.0% (0.2/894.3 GiB)] (x5)  [Interval=5 sec]
  Date : 2018/04/26 22:49:50
    OS : Windows 10 Professional [10.0 Build 16299] (x64)
    TOSHIBA THNSNJ960PCSZ

ベンチ結果もS.M.A.R.T.情報も取り立てて何かあるという事もなく。強いて言えば、総読込量より総書込量が圧倒的に多いことくらい。この使い方ならHK3Eシリーズの方が合ってるんじゃねー?>前のオーナー。まぁ、このくらいの使い方ならどっちでも変わらんだろうけどさ。

THNSNJ960PCSZの耐久性はと言うと、1 DWPD1)──つまり定格寿命たる5年間、毎日1回ドライブ全体に書き込むとTBWに達するということだから5×365×960=1752000GB、つまりTBWは1.752PBである。公称耐久性はDC S3500以上、S3700未満ということになる。そう考えるとDC S3700シリーズの10 DWPDって半端ない耐久性だよなぁ…。東芝のSSDでいえば書き込み重視型のPXシリーズが同等ラインっぽい。

主に自宅鯖の仮想マシン置き場として使う予定。取り付けたら何故かアクセスランプが点きっぱなしなんだけど…w


1)
Drive Write Per Day
  • start.txt
  • 最終更新: 2022-07-27 15:26
  • by Decomo