差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン 前のリビジョン | 最新のリビジョン 両方とも次のリビジョン | ||
virtualization:proxmox_ve_6_3_how_to_use_connectx3_sr_iov [2021-01-14 21:39] Decomo |
virtualization:proxmox_ve_6_3_how_to_use_connectx3_sr_iov [2021-01-15 13:55] Decomo |
||
---|---|---|---|
行 18: | 行 18: | ||
< | < | ||
- | options mlx4_core port_type_array=2, | + | options mlx4_core port_type_array=2, |
</ | </ | ||
+ | |||
+ | パラメータの意味は下表のとおり。 | ||
+ | |||
+ | {| | ||
+ | ! パラメータ | ||
+ | ! 引数 | ||
+ | ! 説明 | ||
+ | |- | ||
+ | |port_type_array | ||
+ | |p1, p2 | ||
+ | |カードの物理ポートの通信プロトコルを指定する。 \\ | ||
+ | p1がポート1, | ||
+ | |- | ||
+ | |num_vfs | ||
+ | |p1, p2, p1+2 | ||
+ | |物理ポートごとに生成されるVF数を指定する。 \\ | ||
+ | p1がポート1, | ||
+ | |- | ||
+ | |probe_vfs | ||
+ | |p1, p2, p1+2 | ||
+ | |ホストでネットワークデバイスとして検出するVF数を指定する。 \\ | ||
+ | 0以上を指定すると、VFがホスト側にネットワークデバイスとして認識されるようになる。 | ||
+ | 引数の意味と制約条件はnum_vfsと同様。加えて合計値はnum_vfs以下でなければならない。 | ||
+ | |} | ||
==== initramfsの更新と確認 ==== | ==== initramfsの更新と確認 ==== | ||
行 30: | 行 54: | ||
</ | </ | ||
- | 上手く設定できてればPCIデバイスとしてVFが生えてくる。 | + | 上手く設定できてれば、指定数のVFがPCIデバイスとして生えてくる。 |
{{ : | {{ : | ||
- | prove_vfを設定すると、ホスト側でネットワークデバイスとして認識される。物理ポート1に4つのVFを指定してるハズなのに、ens1とens1d1の両方にVFが出来てるのは何故… | + | prove_vfを設定すると、ホスト側でネットワークデバイスとして認識される。下図はprobe_vf=4, |
{{ : | {{ : | ||
行 43: | 行 67: | ||
上記の設定でVFが出てこない場合、カードのファームウェアのSR-IOVとVF数の設定を確認する。 | 上記の設定でVFが出てこない場合、カードのファームウェアのSR-IOVとVF数の設定を確認する。 | ||
- | PVEのホスト側にコンパイラやmst (Mellanoxのツール)を入れる事になるので、環境を汚したくなければ別マシンで確認&設定を行ってもよい。 | + | PVEのホスト側にコンパイラやMFT (Mellanox |
- | + | ==== ツールチェインのインストール ==== | |
- | ==== MFTのインストール ==== | + | |
MFTのインストールに必要なツールチェイン類を入れる。 | MFTのインストールに必要なツールチェイン類を入れる。 | ||
行 53: | 行 76: | ||
# apt install gcc make dkms pve-headers-$(uname -r) | # apt install gcc make dkms pve-headers-$(uname -r) | ||
</ | </ | ||
+ | |||
+ | もしかすると、非商用リポジトリを追加しとかないとダメかも? | ||
+ | < | ||
+ | # echo 'deb http:// | ||
+ | </ | ||
+ | |||
+ | ==== MFTのインストール ==== | ||
[[https:// | [[https:// | ||
行 70: | 行 100: | ||
==== カードの状態の確認 ==== | ==== カードの状態の確認 ==== | ||
- | MFTを使うにはmstを実行しておく必要がある。 | + | MFTを使うにはmstを起動しておく必要がある。 |
< | < | ||
行 115: | 行 145: | ||
カードのSR-IOVが有効になっていなければ有効化する。 | カードのSR-IOVが有効になっていなければ有効化する。 | ||
+ | |||
+ | NUM_OF_VFSには1~127を指定できるようだ。最大値はPCI BARサイズやシステムのリソース量に制限されるので、まぁほどほどに。 | ||
< | < | ||
- | # mlxconfig -d / | + | # mlxconfig -d / |
Device #1: | Device #1: | ||
行 126: | 行 158: | ||
Configurations: | Configurations: | ||
- | | + | |
+ | | ||
Apply new Configuration? | Apply new Configuration? | ||
行 132: | 行 165: | ||
-I- Please reboot machine to load new configurations. | -I- Please reboot machine to load new configurations. | ||
</ | </ | ||
- | |||
- | 同様にNUM_OF_VFSも適切な値を設定し、マシンを再起動する。 | ||
===== 参考サイト ===== | ===== 参考サイト ===== |