pytorch出现 RuntimeError: transform: failed to synchronize: cudaErrorIllegalAddress: an illegal memory access was encountered

导致原因可能有两种:

  1. 忘记了model.to(device)
  2. pytorch版本不兼容,在使用transformers包的的时候可能有类似的情况出现

大多数都是第一种,所以在模型定义完之后记得移到GPU:

model = MyModel()
device = torch.device('cuda')
model.to(device)
Logo

欢迎来到FlagOS开发社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。

更多推荐