机器学习标签_FlagOS智算系统软件栈

机器学习

不可不知小技巧｜H800 上基于 Triton-TLE 优化 FlashKDA，长文本推理性能提升超 40%

本文对比了FlashKDA与Triton-TLE在处理线性注意力机制时的性能优化方案。FlashKDA通过将计算拆分为并行准备阶段(K1)和顺序递推阶段(K2)，实现了每16个token一次的状态依赖处理。Triton-TLE在此基础上进一步优化：K1阶段利用显式共享内存和异步加载减少线程等待；K2阶段将FP32主状态保留在寄存器中，减少数据搬运。在H800配置测试中，该方案获得了1.38倍的几何

 FlagOS智算系统软件栈
2026-07-28 13:34:35

 416

 5

#人工智能 #机器学习 #算法
win10+Tensorflow + cuda +RTX 3090/3080 +cudnn 安装

具体细节大家自己去百度和看各博客，这里给出一个简要的指南：1、cuda 安装11.1 对应 cudnn安装cudnn-v8.0.42、nv驱动只能用最新的456.433、python 可以使用3.7 3.8均可可用anaconda安装4、tensorflow 安装最新的nightly版本 https://pypi.org/project/tf-nightly-cpu/ （2.4.0 dev版本）

tophuihui
2020-10-01 19:15:12

 1.4w

 12

#tensorflow #机器学习 #深度学习
WSL安装cuda输入nvidia-smi遇到报错

WSL中nvidia-smi命令报错

 weixin_42570026
2023-08-01 10:25:51

 1793

 1

#机器学习
一步步教你查看cuda和cudnn版本

1.查看cuda版本win+R+enter回车,再输入cmd进入命令行，再输入nvcc --version或者输入nvcc -V即可得到cuda的版本，如图我的cuda版本是10.2查看cudnn版本进入目录查看cudnn_version.h文件一般放在：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include\cudnn_v

PWNLing
2022-04-10 11:13:48

 5.2w

 42

#windows #人工智能 #深度学习 +1
【学习心得】安装cuda/cudann和pytorch

本文介绍如何下载和安装pytorch和Cuda/Cudann

小oo呆
2023-08-14 02:34:18

 4506

 6

#pytorch #人工智能 #python +1
Windows10系统pytorch、cuda11.0、cuDNN安装

cuda安装参考：win10安装CUDA和cuDNN的正确姿势

 吨吨不打野
2021-01-08 17:20:53

 2.5w

 36

#pytorch #深度学习 #机器学习
conda多版本cuda、cudnn的安装，win10

论文代码用的环境不同需要配置不同版本的pytorch、tensorflow、cuda、cudnn。方法：1、win10安装高版本（最好是最新的）的cuda2、conda创建的虚环境中根据需要安装cuda、cudnn版本，即 conda install cudatoolkit=版本号，cudnn对应版本会跟随cudatoolkit一起安装。注意：1、cudatoolkit版本一定要低于本机安装的cu

Dorisxd
2020-12-12 15:51:55

 2380

#pytorch #tensorflow #机器学习
cuda安装技术指南

验证环境首先打开终端输入如下命令，一步一步运行，运行结果参照官方文档$ lspci | grep -i nvidia$ uname -m&&cat /etc/*release$ gcc --version$ uname -r$ sudo apt-get install linux -headers -$(uname -r)①验证显卡②Supported Version③gcc验证④

提莫队长在吃饭
2021-03-17 13:55:45

 614

 1

#深度学习 #linux #运维 +1
CUDA initialization: Unexpected error from cudaGetDeviceCount解决方法

最近训练新增A100，gpu服务器，安装完cuda后突然出现torch无法正常使用，提示CUDA initialization: Unexpected error from cudaGetDeviceCount()错误，如下图所示:登录后复制UserWarning: CUDA initialization: Une...

egzosn
2024-10-11 15:16:39

 3353

 7

#深度学习 #python #人工智能 +2
Runtime Error：cuda runtime error(2):out of memory at /……/torch/…….cu：66

在运行faster RCNN_pytorch的代码时碰到了这个问题，找到以下几种解决方法：1.减小batchsize如果是因为模型太大内存不够，减小bs就能解决2.Variable(x)改成Variable(x,volatile=True)3.在模型中预测部分的代码前面加入with torch.no_grad()：...

philipwelia
2020-04-22 12:34:52

 1968

#机器学习 #python #算法
关于torch.cuda.is_available()返回false的问题解决

注意！！！Pytorch版本要和cuda版本相对应！！！我的 e

samsarange
2021-02-03 18:21:51

 2101

 1

#pytorch #深度学习 #神经网络 +1
安装老版本 nvidia/cuda docker 镜像报错 manifest unknown: manifest unknown

老版本的 cuda 安装报错的解决方法

 Cool_Juice
2024-08-17 20:14:55

 698

 10

#docker #容器 #linux +4
triton具体是个什么框架，triton kernel有什么特殊的地方吗

总的来说,Triton推理服务器提供了一个强大的平台来部署和优化AI模型的推理,而Triton编程语言则为GPU编程提供了一个更易用和高效的工具。Triton是一个开源的推理服务框架,主要用于部署和优化AI模型的推理过程。Triton-IR(中间表示)将多维数据。一等公民,这使得编译器能更有效地进行优。多个模型,可以在单个或多个GPU。实时、批处理、集成和音视频流)自动执行多种重要的程序优化。数据

 AI生成曾小健
2024-07-17 16:20:40

 5317

 9

#人工智能 #深度学习 #机器学习
【机器学习人工智能】大作业：手写数字识别系统_cuda大作业

参考的是代码运行的相关实操移步视频在本次实验中，使用了经典的AlexNet卷积神经网络对经典的MNIST数据集进行训练。完成了模型搭建与训练的任务，识别精度也足够高，也编写了简单的用户界面，用真实手写的图片进行测试，可以看出模型对于真实场景的效果也是适用的，而不是只适用于加载出来并分割出来的测试集。为了进一步改进，可以引入图像增广、翻转、裁剪、颜色变化等办法进一步扩大制作数据集，用于训练与测试。可

 网络安全学习库
2025-06-20 21:45:13

 1021

 26

#人工智能 #机器学习 #机器人 +2
pytorch与cuda版本匹配

1.使用nividia-smi确保有cuda。根据cuda版本号选择对应的pytorch。，则说明CUDA可以正常工作。

小新快跑123
2023-04-21 19:19:12

 8674

 2

#pytorch #机器学习 #深度学习
Jetson orin nano深度学习环境搭建详细教程（包含miniconda（miniforge）、cuda、cudnn、paddle、pyqt5、mmcv）及问题汇总及解决

在orin nano安装cuda前需要先安装jetpack，参考代码安装情况视网络情况而定，约为1小时，安装如因网络原因中断，重复执行最后一句即可。安装jtop，可以用来监控jetson的资源使用情况和查看cuda版本等。输入即可使用，出现以下画面。按 q键或ctrl c退出当前画面，如果启动失败，则重启orin，再次尝试。安装jtop后，可以使用sudo jetson_release命令查看j

王朝的自豪
2024-10-12 17:10:24

 1w

 36

#python #计算机视觉 #人工智能 +4
ONNXRuntimeError Failed to load library libonnxruntime_providers_cuda.so with error

ONNXRuntimeError Failed to load library libonnxruntime_providers_cuda.so with error

星海流萤(AlanWang)
2024-08-22 09:27:52

 1709

 7

#机器学习
安装多个版本的cuda

https://blog.csdn.net/weixin_39450145/article/details/125630585

聂行风
2023-05-14 22:11:31

 303

#人工智能 #机器学习
windows安装cuda10和cudnn

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Mar

weixin_48402703
2021-03-09 15:48:00

 586

#机器学习
nvidia的cuda镜像

nvcr.io/nvidia/cuda:12.2.0-runtime-ubuntu22.04nvcr.io/nvidia/cuda:12.2.0-runtime-ubuntu20.04nvcr.io/nvidia/cuda:12.2.0-runtime-ubi9nvcr.io/nvidia/cuda:12.2.0-runtime-ubi8nvcr.io/nvidia/cuda:12.2.0-run

九品神元师
2024-08-28 10:15:06

 2753

 10

#人工智能 #python #机器学习
linux上的，多种安装方式产生的，多个cuda版本，以及执行顺序问题（nvidia-smi， /usr/local/，conda）

一、多个cuda版本1、sudo ubuntu-drivers autoinstall 安装驱动，会自带一个cuda，这个cuda是一个版本（通过 nvidia-smi 查看）2、从官网上下载，并安装cuda在/usr/local下，此时又是一个cuda版本（通过 cat /usr/local/cuda/version.txt 查看）1和2两种安装cuda方法，https://blog.csdn.

马圈圈马
2021-03-13 15:13:09

 9617

 15

#pytorch #深度学习 #tensorflow +1
torch.cuda.device_count()结果为0，检测不到显卡

检查自己的python版本、cuda版本、torch和 torchvision 版本是否兼容。例：cuda12.1，python 3.9，torchversion 0.16.0，win。例：cuda12.1，python 3.9，torch2.1.0，win。寻找对应的torch和 torchvision 版本下载地址。cd到下载目录下pip安装。安装前先卸载原有版本。

semiconductor_s
2024-02-15 16:32:59

 3936

 9

#深度学习 #pytorch #机器学习
IcudaGetDevice() failed. Status: CUDA driver version is insufficient for CUDA runtime问题解决方法

最近在anaconda上用TensorFlow2.1跑机器学习的代码，结果没几行就出错了，报的错如下：InternalError: cudaGetDevice() failed. Status: CUDA driver version is insufficient for CUDA runtime version百度了半天发现是NVIDIA显卡的驱动版本和CUDA的版本不一致导致...

人生短短几个秋啊
2020-04-11 21:23:22

 1422

#机器学习
pycuda 安装过程分享，包括报错：

另外的报错信息： error: command 'D:\\visual_studio_2015\\VC\\BIN\\x86_amd64\\link.exe' failed with exit code 1158。环境启动脚本已经创建：launch_python_cuda_environment.bat（位置：桌面）驱动(通过nvidia-sm 查询)：561.17, cuda vision 12.

请叫我铠大人
2025-05-10 17:07:00

 494

 8

#visual studio code #机器学习 #人工智能
torch.device和torch.cuda.set_device()

2. 如果使用torch.cuda.set_device('cuda:0')的方式，则改用。3. 即前者需要采用to()方法，而后者可以使用cuda()方法，而无需传递参数。1. 使用torch.device的方式设置显卡之后，需用使用。的方式将模型和数据放到GPU上。的方式将模型和数据加载到显卡中。

weixin_42559117
2023-10-29 19:57:20

 6952

 2

#深度学习 #python #机器学习
安装cuda报错The following processes must be stopped before the Nsight Visual studio Edition installation

Running ProcessesThe following processes must be stopped before the Nsight Visual studio Edition installation can proceed:Performance Monitor(Process ID: 5844)

老泗
2023-09-28 08:35:06

 3789

 9

#人工智能 #python #目标检测 +4
cuda版本与cudnn版本对应关系

cuda版本与cudnn版本对应关系

 时间旅人_
2021-05-24 16:31:23

 8942

 2

#pytorch #深度学习 #神经网络 +1
【机器学习人工智能】大作业：手写数字识别系统_cuda大作业

参考的是代码运行的相关实操移步视频在本次实验中，使用了经典的AlexNet卷积神经网络对经典的MNIST数据集进行训练。完成了模型搭建与训练的任务，识别精度也足够高，也编写了简单的用户界面，用真实手写的图片进行测试，可以看出模型对于真实场景的效果也是适用的，而不是只适用于加载出来并分割出来的测试集。为了进一步改进，可以引入图像增广、翻转、裁剪、颜色变化等办法进一步扩大制作数据集，用于训练与测试。可

 网络安全学习库
2025-06-20 21:38:41

 897

 30

#人工智能 #机器学习 #产品经理 +2
正确版本的pytorch是1.2.0，cuda是10.0，但是我服务器只支持cuda11.0以上版本，我想通过修改代码来适应我的服务器cuda版本，应该修改哪里？...

如果你的服务器只支持 CUDA 11.0 或以上版本，你需要升级你的 PyTorch 版本以适应此 CUDA 版本。你可以在 PyTorch 的官方网站上下载与 CUDA 11.0 兼容的 PyTorch 版本。下载完成后，你需要将代码中的所有 PyTorch 相关依赖更新为新版本。如果你在代码中指定了 CUDA 版本，你需要将其更新为 11.0 或更高版本。除此之外，你需要确保你的服务器已...

46497976464
2023-02-15 10:19:00

 437

#pytorch #python #深度学习 +2
安装paddlepaddle-gpu时ImportError: libcudart.so.11.0: cannot open shared object file: No such file or d

安装paddlepaddle-gpu时ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory。

郭老妖
2023-09-01 09:42:15

 3734

#python #机器学习 #深度学习 +1
解决PyTorch代码中torch.cuda.is_available()终端返回True但代码中显示False的问题

在深度学习训练中，我们通常会优先选择GPU加速计算。然而，有时会遇到一个诡异的现象：返回True却返回False，导致代码回退到CPU模式。

杨荣泰
2025-04-17 11:40:55

 1845

 4

#pytorch #人工智能 #python +3
cuda报错 OSError: libcudart.so.10.0: cannot open shared object file: No such file

有时候会碰到cuda报错，OSError: libcudart.so.10.0: cannot open shared object file: No such file原因是cuda动态链接库没有链接上。解决方法如下：sudo ldconfig /usr/local/cuda-10.0/lib64说明ldconfig命令的用途,主要是在默认搜寻目录(/lib和/usr/lib...

Tommy_crazy
2020-04-13 16:54:32

 7375

 4

#linux #深度学习 #tensorflow +1
解决OSError: libtorch_cuda_cpp.so: cannot open shared object file: No such file or directory

卸载torchaudio，重新安装最新版本。相应的安装命令直接在上述网址能直接复制。：卸载torch，重新安装最新版本。

PigOrz
2023-09-18 14:53:39

 7884

 2

#python #linux #机器学习 +1
pytorc训练出现RuntimeError: Input type (torch.cuda.HalfTensor) and weight type (torch.FloatTensor)

pytorch训练出现RuntimeError: Input type (torch.cuda.HalfTensor) and weight type (torch.FloatTensor)的错误，一般是输入数据和网络数据不匹配。重新训练，程序正常执行。

ctgushiwei
2024-05-24 11:57:08

 564

 3

#人工智能 #深度学习 #机器学习
torch-scatter, torch-cluster, torch-sparse, torch版本对应，cuda

torch-scatter, torch-cluster, torch-sparse 的版本需要与torch版本对应，不然会出现莫名其妙的错误。以下是一个可用的版本配置：torch==1.1.0torch-scatter==1.3.2torch-cluster==1.4.5torch-sparse==0.4.3torch-spline-conv==1.1.1torch-geometric==1.3

飞往宇宙
2020-09-16 09:34:53

 1.1w

 13

#pytorch #深度学习 #机器学习
ubuntu16.04 cuda8/9切换 opencv安装 caffe安装

ubuntu16.04 cuda8/9切换 opencv安装 caffe安装1.NVIDIA显卡驱动安装2.cuda8.0/9.1安装3.安装cudnn4.cuda版本切换5.安装opencv6.安装caffe7.写在最后安装caffe之前需要安装很多依赖，首先安装系统依赖：sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-

zengshuqin
2020-06-17 19:20:43

 448

#caffe #机器学习 #深度学习
NVIDIA CUDA 学习 (3) Thread Cooperation

Thread Cooperation设置并行块设置并行线程混合设置长向量相加处理图片共享显存和同步设置并行块add<<<N,1>>>( dev_a, dev_b, dev_c );//N blocks x 1 thread/block = N parallel threads这句话里面的1，就是the number of threads per block we

闭门即深山
2020-09-08 11:12:01

 296

#编程语言 #c语言 #机器学习 +1
ubuntu16.04安装cuda10+cudnn7.4+nvidia驱动410+tensorfloggpu-1.13.1

ubuntu16.04装cuda10+cudnn7.4+nvidia驱动410又是踩坑的一天.先贴两个不推荐的安装教程，把我给害惨了。https://blog.csdn.net/u014797226/article/details/79626693https://blog.csdn.net/qq_35976351/article/details/89178917一、安装显卡驱动1、...

晴朗终点
2019-12-19 19:30:46

 946

#ubuntu #tensorflow #机器学习
Day4: CUDA夏令营之加速库配置流程

简单理解TensorRT加速工具库

 passioq_
2022-07-07 20:59:23

 568

#深度学习 #人工智能 #机器学习