cuda 数组注意事项
cuda大致在使用的时候，会涉及到global memory,local memory, share memory, register memoy而其中在方法里面如果前缀什么都不加的话, 如float num[15], 这时候数组可能会存放在register memory或者在 local memory其中说明下local memory的作用，其是用于存放在方法中声明的动态数组、复杂数据结
cuda大致在使用的时候，会涉及到global memory,local memory, share memory, register memoy
而其中在方法里面如果前缀什么都不加的话, 如float num[15], 这时候数组可能会存放在register memory或者在 local memory
其中说明下local memory的作用，其是用于存放在方法中声明的动态数组、复杂数据结构和当register不够给block使用的时候会将多的数据存放在local memory
但是local memory的存取速度可以简单理解为与global memory一样，因此有时候你可能会觉得自己应该程序会跑的挺快的，但是经过Nsight工具查看后，却发现有大量的local memory存取访问，这样就相当于有大量的global memory访问，这样自然性能不会提升起来
这时候一个简单方案，是使用全局变量来进行类似数组的偏移量访问。
另:对于数组大小较小，一般为个位数的大小，那么只需要保证迭代的边界是编译是可确定，并且在迭代开头为#program unroll进行展开
cuda应该可以对数组进行展开标记，如a[3], a0,a1,a2进行展开，这样便可以存放到寄存器了，因此这也可以是一个优化的途径。
欢迎来到FlagOS开发社区，这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂，为推动人工智能技术的普及与深化应用贡献力量。
更多推荐
1
0- 0
已为社区贡献3条内容
所有评论(0)