FlagOS智算系统软件栈

不可不知FlagOS小技巧
FlagOS小技巧合集，带你轻松玩转面向大模型的统一异构计算软件栈。内容涵盖一键部署AI助手、算子性能优化等实用指南，助你高效上手AI开发。
2篇内容

不可不知小技巧｜H800 上基于 Triton-TLE 优化 FlashKDA，长文本推理性能提升超 40%

本文对比了FlashKDA与Triton-TLE在处理线性注意力机制时的性能优化方案。FlashKDA通过将计算拆分为并行准备阶段(K1)和顺序递推阶段(K2)，实现了每16个token一次的状态依赖处理。Triton-TLE在此基础上进一步优化：K1阶段利用显式共享内存和异步加载减少线程等待；K2阶段将FP32主状态保留在寄存器中，减少数据搬运。在H800配置测试中，该方案获得了1.38倍的几何

401 
FlagOS智算系统软件栈 · 2026-07-28 13:34:35
#人工智能#机器学习#算法

不可不知小技巧｜CPP Wrapper 完全指南：让你的 Triton 算子性能再提升一步

通过本文的探讨，我们深入了解了在处理计算量很小的算子时，如何通过 C++ wrapper 来降低 Wrapper+JIT runtime 的开销。通过 C++ wrapper，我们可以直接在 C++ 层面进行类型管理和内存分配，从而避免 Python 调用带来的额外开销。实验数据也证明了这种方法的有效性，性能提升显著。对于大模型推理、端侧部署、高频小算子调用等场景，C++ Wrapper 能让 T

772 
FlagOS智算系统软件栈 · 2026-04-29 14:53:08
#人工智能