问题

使用anoconda安装完torch、cuda、cudnn等环境，进行测试看GPU环境是否配置顺利。
建立一个 cuda_test.py 测试代码：

import torch
print(torch.__version__);
print(torch.cuda.is_available())
from torch.backends import cudnn
print(cudnn.is_available())

得到结果显示安装的是cpu版本的，因此cuda、cudnn都用不了。
cuda、cudnn都用不了

原因

因为使用anoconda安装的时候为了速度快点使用了某镜像源，但那个镜像源里面对应的torch等组件被自动下载成cpu版本的了。

解决

不使用anoconda跟镜像，直接用pip，如果下载不下来可以科学上网试试。
（torch等组件的版本根据自己需求来下载）

pip install --user torch===1.7.0 torchvision===0.8.1 torchaudio===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html

其中加 “–user”是为了防止一个问题：

ERROR: Could not install packages due to an OSError: [WinError 5] 拒绝访问。

我这里是安装成功了
我这里是安装成功了，再跑一下 cuda_test.py 测试代码，这次成功了。
TRUE

# pytorch # python
Logo
FlagOS智算系统软件栈

欢迎来到FlagOS开发社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。

更多推荐

PyTorch CUDA调试第一步：5分钟学会使用torch_use_cuda_dsa

是PyTorch提供的一个调试工具，它允许你在CUDA设备端（GPU）执行断言检查。简单来说，就是在GPU上运行的代码中加入断言语句，当条件不满足时会触发错误，帮助你快速发现代码中的问题。这对于调试CUDA内核中的错误特别有用，因为设备端的错误通常比主机端更难调试。是一个非常实用的调试工具，尤其适合CUDA内核的调试。通过设备端断言，你可以快速发现代码中的逻辑错误，提高调试效率。希望这篇笔记能帮助

avatar FlagOS智算系统软件栈

如何用AI优化PyTorch CUDA调试：torch_use_cuda_dsa详解

例如，在矩阵乘法中，可以断言矩阵的维度匹配，或者在计算过程中检查中间值是否在合理范围内。通过AI辅助工具，如Kimi-K2模型，我们可以快速生成带有详细注释的代码示例，解释每个参数的作用和调试技巧。AI不仅能帮助我们理解复杂的CUDA调试技术，还能提供自动补全和错误诊断功能，显著提高开发效率。为了更好地理解断言的作用，我们可以故意在代码中引入一些可能触发断言的条件。对于需要进行CUDA调试的开发者

avatar FlagOS智算系统软件栈

解决bitsandbytes安装难题：libcudart.so找不到的终极方案

🚀 **bitsandbytes** 是一个革命性的PyTorch库，通过8位量化技术让大型语言模型变得触手可及。这个强大的工具能够将模型推理和训练的内存消耗降低到原来的几分之一，但安装时经常遇到的"libcudart.so not found"错误让许多开发者头疼不已。今天，我将为你提供一套完整的解决方案，彻底告别这个困扰！## 🔍 为什么会出现libcudart.so找不到的错误？

avatar FlagOS智算系统软件栈