第一,thread 和block数量的受到gpu本身hard limit的限制

第二,取决于目前shared memory and rigisters大小的限制,不能发布太多,否则系统会自动调用local memory,这样存取速度会下降,影响性能

第三,取决具体的应用,比如:你的矩阵有1000* 1000,如果你设计的kenel 每个线程处理一行的话,你发布1000现在就够了,或者其他的方法来确定。

Logo

欢迎来到FlagOS开发社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。

更多推荐