登录社区云，与社区用户共同成长
邀请您加入社区
本文分享了Flash Attention v2的学习笔记，主要内容包括： Flash Attention v2的主要优化点：减少非matmul计算、优化seqlen维度并行、改进Warp分区策略 对比v1和v2的计算逻辑差异，包括IO交换次数减少和循环顺序调整 提供官方Triton实现的代码片段，展示了注意力机制的核心计算过程 介绍了在不同硬件平台上的配置选项 文章是系列笔记的一部分，涉及Flas
从github上拉取了NVIDIA的示例代码后在本地运行时报错：fatal error: helper_functions.h: No such file or directory，原因是 helper_functions.h文件位于官方提供的samples文件夹中，而samples文件夹在cuda10.0(以及一些较新版本)中是需要自己下载的，故在。之后再利用nvcc -I文件来执行文件。
智源研究院和浪潮信息将于12月25日（星期三）下午组织召开AI系统创新研讨会，共同探讨在大模型高速发展时期，如何构建多元AI算力芯片架构，共建全栈软件生态，助力AI技术和产业的发展和进步。
Triton 的 Python API 里除了 triton.jit 还有 triton.autotune，triton heuristics，triton.Config 等接口用于调优以生成性能更好的 kernel
