PVEとConnectX-3とWindowsでSR-IOVが使えないのはMLNX_OFEDが古いせい
Proxmox VE 6.3のWindows 10ゲストでConnectX-3のSR-IOVが機能しないのは、PVE内蔵のmlx4ドライバが激古なのが原因のようだ。正確にはLinuxのインボックスドライバだが。
この状態だと、SR-IOVは有効でWindows側にVirtual Functionが生えているにもかかわらず、コード43となって、どうあがいてもデバイスが動かない。PVE側では以下のようなログが出る。
mlx4_core 0000:01:00.0: vhcr command:0x43 slave:1 failed with error:0, status -22 mlx4_core 0000:01:00.0: Received reset from slave:1
“Mellanox OFED for Linux Archived Bug Fixes”を眺めると、Internal Ref 1178129に、まさにそれっぽいバグが載っていた。
Description: Fixed an issue that prevented Windows virtual machines running over MLNX_OFED Linux hypervisors from operating ConnectX-3 IB ports.
When such failures occurred, the following message (or similar) appeared in the Linux HV message log when users attempted to start up a Windows VM running a ConnectX-3 VF:
“mlx4_core 0000:81:00.0: vhcr command 0x1a slave:1 in_param 0x793000 in_mod=0x210 op_mod=0x0 failed with error:0, status -22”
バグはIBポート、うちはEthポートという違いがあるが、状況としては極めて近い。この問題はMLNX_OFED v4.2-1.2.0.0で修正済みで、2021-02-10現在の最新版はv4.9-2.2.4.0 LTSであるから、とっくの昔に解決済みのハズである。
そんなバグに何で今更遭遇するの～？と思いきや、Linuxのインボックスドライバはなんとv4.0相当という事実が判明／(^o^)＼ Kernel.orgのBugzillaでも指摘されてるが、ガン無視の模様…。
しゃーないので自前ビルドしたら無事動いた。なんだよもう、めっちゃハマったやんけ！
それでも完全解決とはいかず、デバイスは動いているように見えるものの、なぜかパケットが流れない事がある。初期化系の何かっぽくて、何度かVMを再起動して一度通信できる状態になれば、途中で途絶する事はないのが不幸中の幸いではあるが。
もう1つ気になるのは「イーサネットの状態」のパケット数カウントが何かおかしいこと。受信パケットが常に0で、これが原因かわからんがVF経由だとiTunesでGracenoteへの接続に失敗する。virtio-netの方だと大丈夫なので、うちのネットワークがおかしい訳ではない。
SR-IOVまわりは情報があまりなくて、よう分からん。
(2021-12-07 追記)
WinOF v5.50.5400のKnown Issuesを眺めてたら、Internal Ref. 1297888にパケット数カウントがおかしい問題が思いっきり載っていた……というわけで、Windowsドライバのバグで確定。
回避策がN/Aなのでドライバ修正を待つしかないが、果たして更新されることはあるのだろうか。もうConnectX-3はLTSフェイズだしなぁ。ConnectX-4がお安く手に入ればいいんだけど。
Comments
L'era digitale ha https://3ak.cn/home.php?mod=space&uid=214168 trasformato molti aspetti della nostra vita, compreso il modo in https://tyciis.com/thread-169014-1-1.html cui accediamo ai farmaci. L'acquisto di Viagra on-screen, https://worldaid.eu.org/discussion/profile.php?id=657335 spesso presentato reach un modo conveniente e discreto http://fumankong1.cc/home.php?mod=space&uid=681872 per affrontare la disfunzione erettile, attira molti uomini. Tuttavia, e fondamentale comprendere appieno i rischi https://gamesdata.store/viewtopic.php?t=45836 e le considerazioni legati a questa pratica.
L'acquisto di farmaci da fonti non verificate comporta il rischio di ricevere prodotti contraffatti o adulterati. Questi farmaci potrebbero non contenere il principio attivo desiderato, essere dosati in modo errato o contenere sostanze dannose. L'assunzione di tali prodotti puo avere gravi conseguenze per la salute.
L'acquisto di farmaci da fonti not verificate comporta il rischio di ricevere prodotti contraffatti o adulterati. Questi farmaci potrebbero non contenere il principio attivo desiderato, essere dosati in modo errato o contenere sostanze dannose. L'assunzione di tali prodotti puo avere gravi conseguenze per la greeting.
L'acquisto di farmaci da fonti non verificate comporta il rischio di ricevere prodotti contraffatti o adulterati. Questi farmaci potrebbero not contenere il principio attivo desiderato, essere dosati into modo errato o contenere sostanze dannose. L'assunzione di tali prodotti puo avere gravi conseguenze per la salute.
L'era digitale ha https://mliiai.com/thread-20709-1-1.html trasformato molti aspetti della nostra vita, compreso il modo within https://uniforumhub.com/viewtopic.php?t=80 cui accediamo ai farmaci. L'acquisto di Viagra online, https://visualchemy.gallery/forum/viewtopic.php?pid=3608758 spesso presentato come up un modo conveniente e discreto https://demo.qkseo.in/viewtopic.php?pid=1641478#p1641478 per affrontare la disfunzione erettile, attira molti uomini. Tuttavia, e fondamentale comprendere appieno i rischi http://junlinro520.gain.tw/viewthread.php?tid=1828588&extra= e le considerazioni legati a questa pratica.
L'acquisto di farmaci da fonti not verificate comporta il rischio di ricevere prodotti contraffatti o adulterati. Questi farmaci potrebbero non contenere il principio attivo desiderato, essere dosati within modo errato o contenere sostanze dannose. L'assunzione di tali prodotti puo avere gravi conseguenze apiece la salute.
L'era digitale ha https://mliiai.com/thread-20709-1-1.html trasformato molti aspetti della nostra vita, compreso il modo into https://uniforumhub.com/viewtopic.php?t=80 cui accediamo ai farmaci. L'acquisto di Viagra on-screen, https://visualchemy.gallery/forum/viewtopic.php?pid=3608758 spesso presentato happen un modo conveniente e discreto https://demo.qkseo.in/viewtopic.php?pid=1641478#p1641478 per affrontare la disfunzione erettile, attira molti uomini. Tuttavia, e fondamentale comprendere appieno i rischi http://junlinro520.gain.tw/viewthread.php?tid=1828588&extra= e le considerazioni legati a questa pratica.
L'acquisto di farmaci da fonti non verificate comporta il rischio di ricevere prodotti contraffatti o adulterati. Questi farmaci potrebbero non contenere il principio attivo desiderato, essere dosati in modo errato o contenere sostanze dannose. L'assunzione di tali prodotti puo avere gravi conseguenze per la acknowledge.
L'era digitale ha https://mliiai.com/thread-20709-1-1.html trasformato molti aspetti della nostra vita, compreso il modo into https://uniforumhub.com/viewtopic.php?t=80 cui accediamo ai farmaci. L'acquisto di Viagra online, https://visualchemy.gallery/forum/viewtopic.php?pid=3608758 spesso presentato arrive un modo conveniente e discreto https://demo.qkseo.in/viewtopic.php?pid=1641478#p1641478 per affrontare la disfunzione erettile, attira molti uomini. Tuttavia, e fondamentale comprendere appieno i rischi http://junlinro520.gain.tw/viewthread.php?tid=1828588&extra= e le considerazioni legati a questa pratica.
L'acquisto di farmaci da fonti not verificate comporta il rischio di ricevere prodotti contraffatti o adulterati. Questi farmaci potrebbero non contenere il principio attivo desiderato, essere dosati in modo errato o contenere sostanze dannose. L'assunzione di tali prodotti puo avere gravi conseguenze per la salute.
http://xt.808619.com/home.php?mod=space&uid=58178 http://www.pornharlot.net/user/Wayneimmop/videos https://sportavesti.ru/forums/users/lamp-ias-i-r-osi-o-2/ http://fo1f40rum.bunbun000.com/bbs/home.php?mod=space&uid=9567620 https://mir-pozitiv.ru/forums/users/la-mpi-as-i-rosio-2/ http://jade-crack.com/home.php?mod=space&uid=1703217 http://yinyue7.com/space-uid-1156169.html https://worldaid.eu.org/discussion/profile.php?id=709848 http://www.kiripo.com/forum/member.php?action=profile&uid=1179808 https://myrsporta.ru/forums/users/lam-pi-a-si-r-o-si-o-2/ http://elitebaseballleague.org/member.php?action=profile&uid=10433 https://forum.spherecommunity.net/User-WayneTef http://roco.gain.tw/space.php?uid=12133 http://www.1moli.top/home.php?mod=space&uid=39592 http://moujmasti.com/member.php?404123-Waynegorgo http://videohub.club/member.php?action=profile&uid=53061 http://web.symbol.rs/forum/member.php?action=profile&uid=1087911 https://tsonlinevn.4it.top/User-Waynetuh https://annihilus.net/member.php?u=70317 http://www.pornharlot.net/user/Wayneimmop/videos http://yinyue7.com/space-uid-1156169.html http://www.kiripo.com/forum/member.php?action=profile&uid=1179808 https://forum.spherecommunity.net/User-WayneTef http://elitebaseballleague.org/member.php?action=profile&uid=10433 https://visualchemy.gallery/forum/profile.php?id=4847272 http://videohub.club/member.php?action=profile&uid=53061 https://tsonlinevn.4it.top/User-Waynetuh https://annihilus.net/member.php?u=70317 http://l2raptor.com/forum/index.php?action=profile;u=19092
http://bbs.xiaoditech.com/home.php?mod=space&uid=2699932 http://dtxd.asia/home.php?mod=space&uid=66112 http://yinguoyuan.com/bbs/space.php?uid=103239 http://3ak.cn/home.php?mod=space&uid=215802 http://www.yya28.com/home.php?mod=space&uid=1327700 http://www.88moli.top/home.php?mod=space&uid=19428 http://www.god123.xyz/home.php?mod=space&uid=1177625 https://forum.finveo.world/community/profile/wayneanava/ http://www.lspandeng.com.cn/home.php?mod=space&uid=622237 https://www.thedevondaily.co.uk/users/waynepoete http://bbs.yongrenqianyou.com/home.php?mod=space&uid=4231675&do=profile http://soumoli.com/home.php?mod=space&uid=168000 http://zgyhsj.com/space-uid-955033.html http://www.dbgjjs.com/home.php?mod=space&uid=518525 http://www.bqmoli.com/bbs/home.php?mod=space&uid=29244 http://sglpw.cn/home.php?mod=space&uid=495730 http://bbs.88moli.top/home.php?mod=space&uid=19429 https://www.9tj.net/home.php?mod=space&uid=403798 https://www.ironlifting.it/forum/member.php?u=346504 http://forum.l2endless.com/member.php?action=profile&uid=32568 https://forum.spherecommunity.net/User-WayneTef https://destaquebrasil.com/inglaterra/author/waynedix/ http://dream.kxb4u.com/home.php?mod=space&uid=165879 http://japan-lke.com/home.php?mod=space&uid=194877 http://serial-labor.com/member.php?action=profile&uid=11 http://forum.l2endless.com/member.php?action=profile&uid=32568 http://vb4bramj.free.fr/member.php?u=1416 https://www.thedevondaily.co.uk/users/waynepoete https://demo.qkseo.in/profile.php?id=1111265 https://raidforums.xyz/forum/member.php?action=profile&uid=5558 https://ashipass.com/member.php?12247-WayneLep https://forum.finveo.world/community/profile/wayneanava/ https://australiantravelforum.com/Upload/member.php?action=profile&uid=32746 http://theconsultingagency.com/members/waynetow/profile/ https://gockhuat.net/member.php?u=364515
L'era digitale ha https://3ak.cn/home.php?mod=space&uid=214168 trasformato molti aspetti della nostra vita, compreso il modo in https://tyciis.com/thread-169014-1-1.html cui accediamo ai farmaci. L'acquisto di Viagra on-screen, https://worldaid.eu.org/discussion/profile.php?id=657335 spesso presentato come un modo conveniente e discreto http://fumankong1.cc/home.php?mod=space&uid=681872 per affrontare la disfunzione erettile, attira molti uomini. Tuttavia, e fondamentale comprendere appieno i rischi https://gamesdata.store/viewtopic.php?t=45836 e le considerazioni legati a questa pratica.
L'acquisto di farmaci da fonti non verificate comporta il rischio di ricevere prodotti contraffatti o adulterati. Questi farmaci potrebbero non contenere il principio attivo desiderato, essere dosati in modo errato o contenere sostanze dannose. L'assunzione di tali prodotti puo avere gravi conseguenze per la acknowledge.