马春杰杰最近有台四卡服务器在使用时，经常出现以下错误：
Unable to determine the device handle for GPU 0000:05:00.0: GPU is lost. Reboot the system to recover this GPU
据调查，此现象通常出现于batch size过大时，改小再运行，就会出现这个问题。
解决方案：
初步断定是GPU频繁启停问题，所以进行永久化：
sudo nvidia-smi -pm 1
目前测试良好。
|
1 2 3 4 5 6 7 |
sipl@sipl:~$ sudo nvidia-smi -pm 1 [sudo] password for sipl: Enabled persistence mode for GPU 00000000:05:00.0. Enabled persistence mode for GPU 00000000:06:00.0. Enabled persistence mode for GPU 00000000:09:00.0. Enabled persistence mode for GPU 00000000:0A:00.0. All done. |
此操作每次重启后失效，所以建议写进/etc/rc.local设置开机自启。
本文最后更新于2023年5月8日，已超过 1 年没有更新，如果文章内容或图片资源失效，请留言反馈，我们会及时处理，谢谢！
123 2个月前 (03-20)说：
查克拉 2个月前 (03-19)说：
mumujun12345 2个月前 (03-18)说：
感谢分享啊 2个月前 (03-16)说：
langjitianya 3个月前 (03-04)说：
骏 4个月前 (01-28)说：
爱上浅井 5个月前 (12-30)说：
123 5个月前 (12-25)说：
