差分

このページの2つのバージョン間の差分を表示します。

--- blog:2021:2021-03-06 [2021-03-06 13:37]
Decomo 作成
+++ blog:2021:2021-03-06 [2022-01-12 11:06] (現在)
Decomo
@@ 行 1: / 行 1: @@
 ====== メインPCとサーバをP2VしてRyzenおじさんからHaswellおじさんになった ======
-住環境の変化により、メインPCと自宅サーバを同じ部屋に置くことになった。
+住環境が変わって、メインPCと自宅サーバを同じ部屋に置くことになった。
-もともと自宅サーバは無駄に高スペックで（といっても逸般の誤家庭の人からは鼻で笑われそうだけど）、ほぼ自分専用のFreeBSDなNASやNextcloudサーバ程度にしか使ってなかった。まさに性能と電気代の無駄遣い状態。それでもPCと鯖を分けていたのは、煩い鯖を居住空間内に置いときたくなかったから（っていうのと自宅鯖に憧れがあったから。）
+自宅サーバは無駄に高スペックだったが（といっても逸般の誤家庭の人からは鼻で笑われる程度）、ほぼ自分専用のFreeBSDなNASやNextcloudサーバ程度にしか使ってなかった。まさに性能と電気代の無駄遣い状態。それでもPCと鯖を分けていたのは、煩い鯖を居住空間内に置いときたくなかったから（っていうのと自宅鯖という物理体に憧れがあったから。）
 その制約がなくなった今──ある意味、自室にサーバを置かざるを得ない最大の制約が課されたとも言えるが、マシンを分ける意義がなくなったので、統合することにしたのが2020年10月。付けっぱなしの鯖と、寝てるとき以外はほぼ付けてるメインPCを1台にまとめれば、PCがいつでも使えるようになって電気代も節約できて一石二鳥という皮算用もあった。
@@ 行 9: / 行 9: @@
 その後、数々の検証と困難を乗り越え、ようやくProxmox VE基盤でメインPCと家鯖の仮想化による統合が完了した。このところ、PVEや仮想化関連の更新をしまくってたのはこのせい。旧メインPCは解体の後、パーツ類はヤフオクにドナドナされ、名実ともにRyzenおじさんからHaswell-EPおじさんにダウングレードだ😇
-統合にあたっては、家鯖マシンをPVE基盤に流用した。本当はEPYCに変えたかったけどお金がないの…。そうは言っても、メインマシンとして使うにはCPUが心許なかったのでヤフオクお安く調達。ストレージまわりも整理した。
+統合にあたっては、家鯖マシンをPVE基盤に流用した。本当はEPYCに変えたかったけどお金がないのさ…。そうは言っても、メインマシンとして使うにはCPUが心許なかったのでヤフオクお安く調達。ストレージまわりも整理した。
 ^  ^  変更前  ^  変更後  ^
@@ 行 30: / 行 30: @@
 {{ :blog:2021:my_system_diagram_after_p2v.png |}}
-仮想化という割には、パススルーやらRDMやらで物理とがっつり密結合してるけど。今後、ルータも仮想マシンとして収容予定である。
+仮想化という割には、パススルーやらRDMやらで物理とがっつり密結合してる。今後収容予定のルータは、正しく仮想マシンになる予定（SR-IOVのVFを除く）。
-ヵ月ほど使った感想としては、物理環境と遜色なく使えている。ハード的な性能は旧メイン機から間違いなく下がっており、当初こそブラウザの若干のもたつきを感じこそすれど気のせいないし慣れの範疇で、今は何の不満もなく使えている。3Dのゲームも動くし、USB DAC経由でiTunes再生、NVEncも問題ない。
+ヵ月ほど使った感想としては、物理環境と遜色なく使えている。ハード的な性能は旧メイン機から間違いなく下がっており、当初こそブラウザの若干のもたつきを感じこそすれど気のせいないし慣れの範疇で、今は何の不満もない。3Dのゲームも動くし、USB DAC経由でiTunes再生、NVEncも問題なし。
-GPUはGeForce RTX 2070 SUPERからGTX 1650へと大幅ダウングレードしているが、これは3060への乗り換えを見越しての措置。折からのGPU不足で2070の中古価格上昇により、その売却代でいい感じに3060に乗り換えるつもりだった。が、3060が微妙な感じかつ今なお2070の中古価格は上昇傾向で、正直売らなきゃよかったと後悔してる…。
+<note>(2021-03-30 追記)
-仮想メイン環境をPVEで自動起動設定すれば、ホストマシン電源オンでWindowsも起動する。また、ゲストエージェントを入れとけば、ホストのシャットダウンも何てことはない。WindowsのブラウザからPVE管理画面を開き、ホストをシャットダウンすれば自動でWindowsのシャットダウン処理が走り、その後ホストの電源が切れる。再起動も同様だ。こうした使い勝手の面でも、物理環境と大差なくて素晴らしい。
+改めて第10世代Coreと2070 SUPERなマシンを触ってみたら、ブラウザの表示がチョッパヤで驚いた…。P2V後のもたつきは気のせいではなかった。リンクをクリックした際、前者はまさにパッと表示が切り替わるのに対し、後者はわずかな空白期間があってからパッと出る感じ。</note>
+GPUはGeForce RTX 2070 SUPERからGTX 1650へと大幅ダウングレードしているが、これは3060への乗り換えを見越しての措置。折からのGPU不足による中古価格上昇で、2070の売却代でオトクに3060へ乗り換えるつもりだった。が、いざ蓋を開けてみると3060は微妙な感じだし、今なお2070Sの中古価格は上昇傾向だしで、正直売らなきゃよかった……。
+仮想メイン環境をPVEで自動起動設定すれば、ホストマシン電源オンでゲストのWindowsも起動する。また、ゲストエージェントを入れとけば、ホストのシャットダウンも何てことはない。ゲストのブラウザからPVE管理画面を開き、ホストをシャットダウンすれば自動でWindowsのシャットダウン処理が走り、その後ホストの電源が切れる。再起動も同様だ。こうした使い勝手の面でも、物理環境と大差なくて素晴らしい。
 メインマシンを仮想化する上での最大の障壁はGPUだが、Proxmox VE (KVM)を使えば難なくGPUパススルーできる。仮想BIOSの画面が物理モニタに映し出された時は妙な感動を覚えた。
-USBまわりはコントローラをPCIパススルーでVMに割り当てると、普通の物理マシンの感覚で使えてよい。
+USBまわりはPCIパススルーでコントローラをVMに割り当てると、普通の物理マシンの感覚で使えてよい。
 今回はネットワークまわりも、SR-IOVでもって物理デバイスのように扱っている。対向のL3スイッチからはVMが直接接続されているように見え、構成的に綺麗な気がする。何よりソフトウェアブリッジを使わずに済むので、パフォーマンス的にも負荷的にも有利である。
@@ 行 64: / 行 68: @@
       * 一部記述が古かったり、曖昧だったりする箇所があるのは要注意
     * プライマリディスプレイが4kモニタだと、EFIからOSに制御が移った時にコケる。WUXGAモニタだと問題なし。
+      * （2022-01-12 追記) PVE 7にしたらROM-Barオンでも仮想BIOS→Windowsログイン画面の遷移も問題なくなった、
       * 仮想マシンの仮想BIOS表示→Windowsの起動ロゴまでは映るが、ログイン画面に切り替わるあたりで無信号状態になる。
       * それでもWindows自体は正常に起動している。
-      * ROM-Bar (GPUのBIOS？)を切ると、仮想BIOS→Windowsの起動ロゴは出なくなる代わりに、ログイン画面が出るようになる。
+      * ROM-Bar (GPUのBIOS)を切ると、仮想BIOS→Windowsの起動ロゴは出なくなる代わりに、ログイン画面が出るようになる。
       * 仮想BIOSを弄ることは早々ないので、ROM-Barオフで運用。ログイン画面が出るまで真っ暗なのでちょっと不安ではあるけど。
-      * GeForce GTX 2070 SUPER、1650で確認。ラデは知らん。
+      * GeForce RTX 2070 SUPER、GTX 1650で確認。ラデは知らん。
   * ネットワーク
     * ConnectX-3のSR-IOVをパススルーで利用
       * WindowsからNICとして認識されリンクアップしているものの、パケットが流れないことがある。
-      * 何度か仮想マシンを再起動すると直る。一度直ればVMを落とすまで大丈夫。
+        * 何度か仮想マシンを再起動すると直る。一度直ればVMを落とすまで大丈夫。
-      * 多少不便だけどログイン画面で判断できるので許容内。
+        * 多少不便だけどログイン画面で判断できるので許容内。
       * なぜかiTunesのネットワークまわりの挙動が怪しい。
         * Gracenoteに繋がらない（そもそもネットワークが繋がってない判定を食らう）
@@ 行 79: / 行 84: @@
           * iTunesを再起動すると繋がるようになる。
         * virtio-netだと問題なし。
+        * ネットワークの状態ダイアログの送受信パケット数カウンターが動いてないのが原因？
+          * これ自体はドライバのバグっぽい：[[blog:2021:2021-02-10]]
       * VFとLinux Bridge (vmbr0)にぶら下がっている仮想NICの間で疎通できないかも？
         * vmbr0のFDB((Forwarding Database Entry))にVFのMACアドレスが載らないのが原因らしい？
+          * [[https://forum.proxmox.com/threads/communication-issue-between-sriov-vm-vf-and-ct-on-pf-bridge.68638/|[SOLVED] - communication issue between SRIOV VM VF and CT on PF bridge | Proxmox Support Forum]]
+          * [[https://community.intel.com/t5/Ethernet-Products/82599-VF-to-Linux-host-bridge/td-p/351802|82599 VF to Linux host bridge - Intel Community]]
+          * [[https://man7.org/linux/man-pages/man8/bridge.8.html|bridge(8) - Linux manual page]]
   * USBパススルー
-    * ホストのUSBコントローラをPCIパススルーで行けるが、後付けしたUSBカードをパススルーする方が無難。
+    * マザボのUSBコントローラをPCIパススルーでも行けるが、後付けしたUSBカードをパススルーする方が無難。
       * (IPMIの)KVMの入力がパススルー先のVMに持っていかれ、KVMが用を成さなくなるから。
         * 仮想マウスと仮想キーボードは内部的にUSB接続されているのだ。
         * いざという時に困る（PVEのWeb UIが応答しなくなって、物理ターミナル経由でrebootしなきゃいけないときとか）
+      * マザボのUSBはPCIデバイス的にはUSB 2.0/3.0が別々に認識され、片方のみパススルー設定できるが、結局両方ともパススルーされる模様。
+    * USBのパケットが途切れることがあるっぽい
+      * キー入力、マウスカーソルがプチフリすることがある。地味にイラつくが致命的ではない。
+      * USBサウンドがたまにプチプチ切れる。地味に（ｒｙ
   * スリープ、ダメ、ゼッタイ
     * VM（のWindows）をスリープさせたが最後、復帰できなくなるのでスリープさせてはいけない。
       * 少なくともパススルーしてるUSBマウス・キーボードをガチャガチャでは復帰せず
       * PVEの管理画面から何か叩けば行けるかも？
+        * (2022-01-12 追記) 管理画面からスリープ解除するとVM自体は起き上がるようだが、やはり画面が出ない。
     * モニタのスリープは大丈夫。