一 问题背景

在深度学习训练中，我们通常会优先选择GPU加速计算。然而，有时会遇到一个诡异的现象：

• 终端独立测试CUDA可用性：python -c "import torch; print(torch.cuda.is_available())" 返回 True

• 实际代码运行时：torch.cuda.is_available() 却返回 False，导致代码回退到CPU模式

二 原因分析

1. 环境变量冲突

• CUDA_VISIBLE_DEVICES未正确设置：代码运行时可能被其他模块（如tensorflow）修改了环境变量，导致PyTorch无法检测到GPU。

• 多进程场景下的设备掩码污染：子进程未正确继承父进程的GPU配置。

2. CUDA上下文未正确初始化

• 第三方库抢占资源：某些库（如OpenCV、TensorFlow）可能提前初始化CUDA上下文，导致PyTorch无法访问。

三 解决方案

• 核心矛盾：环境变量冲突导致PyTorch无法正确识别GPU设备。
• 终极方案：在代码入口强制指定CUDA_VISIBLE_DEVICES。

强制指定可见GPU设备，在代码最开头（所有其他导入之前）显式设置环境变量：

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0"  # 指定使用第0号GPU

为什么有效？

• 避免了其他库或系统环境变量对GPU可见性的覆盖。
• 在多卡场景下精准控制使用的设备编号。

四 GPU状态查看与监控指令

实时负载监控:GPU-Util：计算核心利用率，Memory-Usage：显存占用/总量

watch -n 1 nvidia-smi

进程级资源占用

按GPU 0显示各进程的显存(m)、计算核心(u)占用情况:

nvidia-smi pmon -s um -i 0

欢迎讨论：你是否遇到过其他诡异的CUDA不可用问题？欢迎在评论区分享案例！