blog:2022:2022-02-21

差分

このページの2つのバージョン間の差分を表示します。

この比較画面にリンクする

両方とも前のリビジョン 前のリビジョン
blog:2022:2022-02-21 [2022-02-23 00:15]
Decomo 		blog:2022:2022-02-21 [2022-03-04 10:51] (現在)
Decomo
行 61: 行 61:
 まず言えることは''zstd-3''のバランスの良さ。LZ4と遜色ない速度にもかかわらず、圧縮率は有意に高い。さすが、''compress=zstd''とした時に使われるレベルだけある。''gzip-9''より縮むのに大分速いってのは特筆すべき。 まず言えることは''zstd-3''のバランスの良さ。LZ4と遜色ない速度にもかかわらず、圧縮率は有意に高い。さすが、''compress=zstd''とした時に使われるレベルだけある。''gzip-9''より縮むのに大分速いってのは特筆すべき。
  
-圧縮率最重視の''zstd-19''が当然ながら最も縮むが、速度が大分厳しい感じ。少なくとも今回のテストデータでは、処理に見合うだけの圧縮効果が得られているとは言い難い。仮に最新CPUで速度が10倍になったとしても、250MB/s程度なので使いどころが難しそう。費用対効果が高いのは''zstd-7''、状況によっては''zstd-15''もなくはないかな。+圧縮率最重視の''zstd-19''が当然ながら最も縮むが、速度が大分厳しい感じ。少なくとも今回のテストデータでは、処理時間に見合うだけの効果が得られているとは言い難い。仮に最新CPUで速度が10倍になったとしても、250MB/s程度でボトルネックとなる可能性が高く使いどころが難しそう。費用対効果が高いのは''zstd-7''、状況によっては''zstd-15''もなくはないかな。
  
 ===== recordsizeによる圧縮率の変化 ===== ===== recordsizeによる圧縮率の変化 =====
行 77: 行 77:
 | :::    |    1M |  487907.2 |  -2447.7 |  -0.48%  | | :::    |    1M |  487907.2 |  -2447.7 |  -0.48%  |
  
-なぜかLZ4のレコードサイズ1MBの時は圧縮率が下がってるけど、概ねレコードサイズが大きくなるほど圧縮率も向上するようだ。割合で見ると微々たるものだが、レコードサイズを変えるだけで恩恵が得られるのはありがたい。+なぜかLZ4のレコードサイズ1MBの時は圧縮率が下がってるけど、概ねレコードサイズが大きくなるほど圧縮率も向上するようだ。割合で見ると微々たるものだが、レコードサイズを変えるだけで恩恵が得られるのはありがたい。実のところ、レコードサイズを大きくすると実データに占めるメタデータ割合（ハッシュの量）が減り、プール容量的にはこちらの影響の方が大きかったりする（参考：[[blog:2022:2022-02-24]]）
  
 とりあえず、互換性を気にしなくていい環境では、lz4の代わりに積極的にzstdを使っていくのが良さそう。可能な限りrecordsizeも大きくしていこう（ただし、FreeBSDはレコードサイズが128k超のファイルシステムからブート出来ない点には注意が必要。） とりあえず、互換性を気にしなくていい環境では、lz4の代わりに積極的にzstdを使っていくのが良さそう。可能な限りrecordsizeも大きくしていこう（ただし、FreeBSDはレコードサイズが128k超のファイルシステムからブート出来ない点には注意が必要。）
  • blog/2022/2022-02-21.1645542959.txt.gz
  • 最終更新: 2022-02-23 00:15
  • by Decomo