加载模型出现 RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available()

今天在加载模型的时候出现了这个报错问题现象RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_lo

大海Git

13542人浏览 · 2020-08-11 20:52:34

大海Git · 2020-08-11 20:52:34 发布

今天在加载模型的时候出现了这个报错

问题现象

RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location='cpu' to map your storages to the CPU.

问题分析

根据报错的提示，这个问题应该是因为模型是在GPU上训练的，然后我是在CPU上加载两者环境差异导致的，如果朋友们的电脑有CPU，那么可以参考我下面的方法

解决办法

在原来的加载方法中指定参数map_location为cpu


checkpoint = torch.load("ckpts/cdnn/model.tar")

改为

checkpoint = torch.load("ckpts/cdnn/model.tar",map_location='cpu')

FlagOS智算系统软件栈

欢迎来到FlagOS开发社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。

更多推荐

一文看懂 TritonNext 2026：FlagOS 亮点详解、语言扩展新趋势、AI 生成更加“底层”、芯片软件生态或迎“新拐点”！

作者 | CSDN 编辑部出品丨AI 科技大本营（ID：rgznai100）算力已成为 AI 时代的“石油”，但如何高效挖掘异构算力的潜能，打破单一硬件架构的软件壁垒，是全行业面临的共同考题。过去二十年，CUDA 几乎定义了 GPU 编程的主流路径。但在 2026 年，随着更多国内 AI 芯片算力崛起与异构计算的普及，Triton 正从一个学术界的编程语言，演变为工业界打破 CUDA 垄断、连接上

FlagOS智算系统软件栈

PyTorch CUDA调试第一步：5分钟学会使用torch_use_cuda_dsa

是PyTorch提供的一个调试工具，它允许你在CUDA设备端（GPU）执行断言检查。简单来说，就是在GPU上运行的代码中加入断言语句，当条件不满足时会触发错误，帮助你快速发现代码中的问题。这对于调试CUDA内核中的错误特别有用，因为设备端的错误通常比主机端更难调试。是一个非常实用的调试工具，尤其适合CUDA内核的调试。通过设备端断言，你可以快速发现代码中的逻辑错误，提高调试效率。希望这篇笔记能帮助