1 、由于客户方部署项目的特殊性，使用 windows+docker-desktop 进行项目部署（已经是优化后的方案了）
2 、目前的环境是 服务器（非台式机） win10 专业版+2 张 A40 ，用 docker-desktop 跑推理模型
3 、开发过程中遇到的问题：docker 容器无法调用 GPU ，wsl2 的 ubuntu 里面页无法调用 GPU ，
4 、在尝试了 nvidia container toolkits ，cuda toolkits 等工具安装（ win 版、wls2 的 ubuntu ）无法解决后，怀疑到显卡驱动上了。nvidia-smi 下显示两张 A40 都是 TCC 模式，为数据中心服务器专用的计算模式，不支持虚拟化，即 wsl 后端无法访问。
5 、解决方案：NVIDIA_Display_Mode_Selector_Tool 工具切换显卡模式到 wddm 模式（得先卸载驱动），然后安装驱动后 nvidia-smi 切换驱动为 wddm 模式。 完成后 wsl2 执行 nvidia-smi 可以正常输出，docker 容器可访问 GPU
估计应该是没有人使用这么离谱的方案进行项目部署，所以 google 没找到现成的解决方案，特记录一下。
2 、目前的环境是 服务器（非台式机） win10 专业版+2 张 A40 ，用 docker-desktop 跑推理模型
3 、开发过程中遇到的问题：docker 容器无法调用 GPU ，wsl2 的 ubuntu 里面页无法调用 GPU ，
4 、在尝试了 nvidia container toolkits ，cuda toolkits 等工具安装（ win 版、wls2 的 ubuntu ）无法解决后，怀疑到显卡驱动上了。nvidia-smi 下显示两张 A40 都是 TCC 模式，为数据中心服务器专用的计算模式，不支持虚拟化，即 wsl 后端无法访问。
5 、解决方案：NVIDIA_Display_Mode_Selector_Tool 工具切换显卡模式到 wddm 模式（得先卸载驱动），然后安装驱动后 nvidia-smi 切换驱动为 wddm 模式。 完成后 wsl2 执行 nvidia-smi 可以正常输出，docker 容器可访问 GPU
估计应该是没有人使用这么离谱的方案进行项目部署，所以 google 没找到现成的解决方案，特记录一下。
Select Language