cuda程序常见异常汇总
1.CUDA out of memory跑cuda 程序遇到下面错误：RuntimeError: CUDA out of memory.Tried to allocate 588.00 MiB (GPU 0;11.00 GiB total capacity; 8.97 GiBalready allocated; 190.44 MiB free;9.00 GiB reserved in total
·
1.CUDA out of memory跑cuda 程序遇到下面错误：
RuntimeError: CUDA out of memory.
Tried to allocate 588.00 MiB (GPU 0;
11.00 GiB total capacity; 8.97 GiB
already allocated; 190.44 MiB free;
9.00 GiB reserved in total by PyTorch)
运行程序之前，使用nvidia-smi 查看显存有没有被占用，如果有被占用5M以上，可能是显存没有被释放。通过如下命令来释放显存。
linux上使用命令行，云主机可以重启电脑
fuser -k /dev/nvidia* 或者 kill $(lsof -t /dev/nvidia*)
2.减小batch size。
3.更换更大显存的云主机。
欢迎来到FlagOS开发社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)