差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン 前のリビジョン | |||
blog:2022:2022-02-21 [2022-02-23 00:15] Decomo |
blog:2022:2022-02-21 [2022-03-04 10:51] Decomo |
||
---|---|---|---|
行 61: | 行 61: | ||
まず言えることは'' | まず言えることは'' | ||
- | 圧縮率最重視の'' | + | 圧縮率最重視の'' |
===== recordsizeによる圧縮率の変化 ===== | ===== recordsizeによる圧縮率の変化 ===== | ||
行 77: | 行 77: | ||
| ::: | 1M | 487907.2 | -2447.7 | -0.48% | | ::: | 1M | 487907.2 | -2447.7 | -0.48% | ||
- | なぜかLZ4のレコードサイズ1MBの時は圧縮率が下がってるけど、概ねレコードサイズが大きくなるほど圧縮率も向上するようだ。割合で見ると微々たるものだが、レコードサイズを変えるだけで恩恵が得られるのはありがたい。 | + | なぜかLZ4のレコードサイズ1MBの時は圧縮率が下がってるけど、概ねレコードサイズが大きくなるほど圧縮率も向上するようだ。割合で見ると微々たるものだが、レコードサイズを変えるだけで恩恵が得られるのはありがたい。実のところ、レコードサイズを大きくすると実データに占めるメタデータ割合(ハッシュの量)が減り、プール容量的にはこちらの影響の方が大きかったりする(参考:[[blog: |
とりあえず、互換性を気にしなくていい環境では、lz4の代わりに積極的にzstdを使っていくのが良さそう。可能な限りrecordsizeも大きくしていこう(ただし、FreeBSDはレコードサイズが128k超のファイルシステムからブート出来ない点には注意が必要。) | とりあえず、互換性を気にしなくていい環境では、lz4の代わりに積極的にzstdを使っていくのが良さそう。可能な限りrecordsizeも大きくしていこう(ただし、FreeBSDはレコードサイズが128k超のファイルシステムからブート出来ない点には注意が必要。) |