腾讯混元正式开源多模态模型Hy4 flash。众智FlagOS社区基于FlagOS统一多芯片软件栈,完成Day0跨芯适配,覆盖平头哥、英伟达、华为昇腾、海光、昆仑芯、沐曦、摩尔线程、清微智能、天数智芯共9家芯片平台,得益于FlagOS 2.2版本的性能优化,整体评测数据显示,在英伟达H100上的FlagOS版本开箱性能较英伟达原生方案输出吞吐最高提升35.9%、首Token时延最高降低 29.1%。产业用户可结合现有算力和业务负载,选择Hy4 flash的FlagOS版的多芯部署镜像。

Hy4 flash是面向深度搜索、文档处理、PPT生成及Computer Use等日常工作,拥有约220B总参数(含约64B Engram参数),每个Token激活约12B参数,原生支持文本和图像输入、文本输出,以及最长1M Token上下文。模型采用混合注意力、LatentMoE与Engram等架构设计,KV Cache大小为Hy4的1/6。在腾讯混元的WorkIndex内部评测中,Hy4 flash 得分为42.1,高于Hy4 preview的39.7,单任务成本也更低。

 

图片

图 1、Hy4 flash 在 WorkIndex 与公开 Agent 评测中的结果(来源腾讯混元官方数据)

 

一、开箱性能:英伟达FlagOS版输出吞吐较原生最高提升35.9%

 

在8卡英伟达H100(单卡 80GB)、64并发测试中,Hy4 flash的FlagOS 方案相较英伟达原生方案,在4K输入、1K输出场景下,输出吞吐提升35.9%,平均首Token时延降低29.1%,平均每Token耗时降低24.3%。当输入长度增加至16K和32K、输出保持1K时,输出吞吐仍分别提升14.5% 和12.8%,两项时延也均有所降低。

 

图片

图 2、Hy4 Flash在H100上开箱性能对比:英伟达原生与英伟达 + FlagOS

 

1. 压缩稀疏注意力:融合 IndexPool 路径,减少小 kernel 开销

本次 FlagOS 部署方案采用 FlagGems、vLLM-plugin-FL 与 FlagTree 软件栈。针对 Hy4 flash 的压缩稀疏注意力,团队对 IndexPool 路径中的候选组选择与展开、缓存写入、旋转位置编码、池化和量化等环节进行算子融合,将相关操作合并执行,减少中间张量和 kernel启动开销。例如,候选组展开由33个GPU kernel 合为1个,在H100上的实测耗时从90.44 μs降至4.00 μs,加速比达22.63×。FWHT+FP8量化、稀疏层 MRoPE、分页缓存写入的加速比分别为 18.37×、17.32×、8.44×;门控池化+RMSNorm、候选组选取的加速比分别为 3.46×、1.76×。这些优化减少了 kernel 启动间隙和数据搬运开销,改善了整模的响应时延与生成吞吐。

 

2. iHC:H100 上 prefill 时延降低 44%,decode 时延降低 19%

Hy4 flash 的 iHC(独立超连接)算子在各层 Attention 和 MLP 前后反复执行,负责多通道残差的加权合并与回写。针对这一计算路径,FlagOS 完成了算子优化,并在英伟达 H100 上进行了 Hy4 flash 端到端对比测试:相较英伟达原生方案,prefill(输入处理)阶段算子时延降低 44%,decode(生成)阶段算子时延降低 19%,收益同时覆盖输入处理与后续生成。

优化根据单次调用的 Token 数调整执行方式:Token 较多时,将多个 Token 放入同一计算程序,复用权重分块的读取;Token 较少时,沿归约维度拆分任务,增加并行度,并将分块结果的汇总并入第二阶段,减少额外的 kernel 启动。投影与归约保留 FP32 累加。相关 Pre/Post 算子实现已开源至 FlagGems-vLLM。

算子源码:https://github.com/flagos-ai/FlagGems-vllm/tree/main/src/flaggems_vllm/ops/ihc

 

二、精度对齐:四项基准评测覆盖语言推理与多模态理解

FlagOS 适配后的Hy4 flash 在MATH-500、GPQA Diamond、MMBench 与 MMStar四项评测中,以英伟达原生版本为基线,检验数学推理、科学问答与多模态理解能力。已完成的各芯片厂商FlagOS 版本的精度评测中,四项得分都相对英伟达原生对齐。

 

图片

表 1、Hy4 Flash 精度评测相对英伟达原生基线得分的百分比差异

 

三、开发者速用指南:多芯版本下载与部署示例

FlagOS 技术栈为 Hy4 flash 提供了面向 9 家芯片厂商的 INT8 适配版本。通过vLLM-plugin-FL 与 SGLang-plugin-FL多芯片推理插件,结合统一算子库 FlagGems 与统一编译器 FlagTree,开发者可沿用原有框架接口,在不同芯片平台上部署模型,相关适配版本可通过魔搭社区与 Hugging Face 下载使用。本节以平头哥平台的 vLLM-plugin-FL 路径为例,介绍源码安装和推理运行;各平台的框架版本、插件分支及模型专用配置见对应模型卡。官方开发者文档包含详细安装说明与代码示例:

  • vLLM-plugin-FL:

GitHub:

https://github.com/flagos-ai/vllm-plugin-FL/blob/main/README.md

GitCode:

https://gitcode.com/flagos-ai/vllm-plugin-FL/blob/main/README.md 

 

  • SGLang-plugin-FL:

GitHub:

https://github.com/flagos-ai/sglang-plugin-FL/blob/main/README.md

GitCode:

https://gitcode.com/flagos-ai/sglang-plugin-FL/blob/main/README.md 

 

方式一:源码安装与推理运行

以下以平头哥平台为例,采用 vLLM v0.24.0、vllm-plugin-FL v0.3.0 和 FlagGems v5.4.0。安装前,需按对应模型卡准备芯片驱动、运行时、兼容的 PyTorch 与 FlagTree 编译环境,并完成模型专用补丁、依赖和环境变量配置。其他平台的组件版本和后端设置,以各自模型卡及插件文档为准。

 

安装部署

# 1. 安装 vLLM v0.24.0
git clone https://github.com/vllm-project/vllm.git
cd vllm
git checkout v0.24.0
VLLM_TARGET_DEVICE=empty pip install -v --no-build-isolation --no-deps .
cd ..

# 2. 安装 vllm-plugin-FL
git clone https://github.com/flagos-ai/vllm-plugin-FL
cd vllm-plugin-FL
git checkout v0.3.0
pip install --no-build-isolation -e .
cd ..

# 3. 安装 FlagGems 算子库
git clone https://github.com/flagos-ai/FlagGems
cd FlagGems
git checkout v5.4.0
pip install --no-build-isolation -e .
cd ..

# 4. 按目标平台要求配置 FlagTree 统一编译器
# https://github.com/flagos-ai/FlagTree

# 5. 按分布式部署需求配置 FlagCX 统一通信库
# https://github.com/flagos-ai/FlagCX

运行推理

将以下示例保存为 inference.py。示例采用 8 路张量并行,实际卡数、并行配置和模型专用参数以对应模型卡为准。

from vllm import LLM, SamplingParams
if __name__ == "__main__":
    prompts = ["请介绍一下 Hy4 Flash。"]
    sampling_params = SamplingParams(max_tokens=512, temperature=0.0)
    llm = LLM(
        model="FlagRelease/Hy4-flash-INT8-zhenwu-FlagOS",
        tensor_parallel_size=8,
        trust_remote_code=True,
    )
    outputs = llm.generate(prompts, sampling_params)
    for output in outputs:
        print(f"Prompt: {output.prompt!r}")
        print(f"Generated: {output.outputs[0].text!r}")
VLLM_PLUGINS=fl python inference.py

切换芯片平台时,从下表选择对应模型版本,并按模型卡调整 tensor_parallel_size、max_model_len、max_num_batched_tokens 和 max_num_seqs 等参数;使用 SGLang 路径的平台按 SGLang-plugin-FL 文档配置。

 

方式二:获取多芯版本,按模型卡部署

开发者也可以从 FlagRelease 获取各平台的模型文件、部署代码与配套镜像使用说明。选择目标芯片后,按模型卡下载权重、拉取容器镜像,完成设备映射与模型目录挂载,再在容器内运行推理示例。本次九个平台均提供 Hy4 flash INT8 版本。

 

魔搭社区

 

图片

表 2、Hy4 Flash 魔搭社区分平台下载链接

 

Hugging Face

 

图片

表 3、Hy4 Flash Hugging Face 分平台下载链接

 

四、大模型核心基座:FlagOS 2.2 让适配与优化成果跨芯复用

Hy4 flash 的跨芯适配,依托的是 FlagOS 2.2 统一多芯片系统软件栈。FlagOS 2.2 沿 AI 开放计算的技术路线持续演进,技术栈已覆盖 21 家 AI 芯片厂商、35 款 AI 芯片,通过统一、开放的软件栈,让不同芯片复用模型适配、算子优化与系统性能提升成果。从算子层、编译层、框架层到工具层,全链路为大模型跨芯适配提供技术支撑。

 

图片

图 3、FlagOS 2.2 软件栈架构

 

1. 推理框架插件:保持原生接口,接入多芯后端

FlagOS 为主流推理框架打造了统一的多芯片插件,包括 vLLM-plugin-FL 与 SGLang-plugin-FL,基于 FlagOS 统一多芯片后端开发,在保持原生接口与用户使用习惯的基础上实现多芯片推理部署。FlagOS 2.2 中,vLLM-plugin-FL 提供对 vLLM 0.20.2 与 0.24.0 的支持;SGLang-plugin-FL 配合首次发布的 FlagGems-SGLang 专用算子库,完善多芯片推理能力。本次 Hy4 Flash 的各平台框架版本与部署配置见对应模型卡。

 

2. FlagGems 系列:九大算子库覆盖 1,454 个算子

FlagGems 系列是 FlagOS 核心的高性能、多芯片通用算子库,基于 Triton/Triton-TLE 语言实现。FlagOS 2.2 中,9 大算子库总算子数从 2.1 版本的 564 个增加至 1,454 个,并首次发布包含 40 个算子的 FlagGems-SGLang。在上千个算子、10 款异构 AI 芯片的测试范围内,跨芯片算子加速比中位数的均值由 0.861× 提升至 1.099×,整体性能指标较上一版提升约 27%。公共算子持续积累,让新模型适配能够复用已有实现,并在目标芯片上进一步调优。

 

3. FlagOS-Compressor:统一权重转换与量化

FlagOS 2.2 首次发布 FlagOS-Compressor,为跨芯片部署提供统一的权重转换与量化工具,支持 W4A16、W8A16、W8A8 方案;面向 FP8、MXFP4 等低精度及混合精度权重,支持格式转换并重新量化为 INT8,使具备相应 INT8 算子与部署条件的存量设备获得运行新模型的更多选择。工具可按模块选择量化策略,为敏感模块保留高精度,并将权重、量化参数与运行配置一并导出。

 

4. FlagTree 与 FlagPrism:跨芯编译、调试与性能分析

FlagTree 是 FlagOS 面向多 AI 芯片后端的统一编译器,基于 Triton/TLE 定制,将公共算子编译为不同 AI 芯片后端可执行的代码。FlagOS 2.2 中,FlagTree 主分支新增 AMD、进迭时空、平头哥后端,并独立发布 FlagTree-CPU,支持 ARM CPU 低比特推理。同时,跨芯片编译器调试工具 FlagPrism 开源发布,提供 Triton/TLE 算子的 Debug 与 Profiling 能力,已支持 5 款芯片,帮助开发者定位数值问题与性能瓶颈。

 

5. FlagRelease:模型迁移、评测与多芯发布

依托 FlagOS 全栈技术能力,FlagRelease 为模型跨芯迁移、评测与版本发布提供工具支持。本次 Hy4 Flash 面向 9 个平台提供 INT8 版本,并在 Hugging Face、魔搭社区组织对应下载入口与部署说明,开发者可选择目标平台版本使用,减少自行迁移与整理环境的工作。FlagRelease 累计发布的模型镜像已超过 300 个,持续沉淀新模型的多芯片适配成果。

 

五、开源共建:开放全栈代码,共享多芯适配实践

当下,异构算力协同与大模型普惠落地受到开源开发者社区的持续关注,打破硬件生态隔离、让大模型在不同算力平台高效低成本运行,是开发者的核心诉求。FlagOS 从诞生之初就将开源开放、众智共建刻入技术基因,始终以开发者为中心,通过全栈开源的统一系统软件栈,推动模型与芯片分别围绕公共软件接口接入,减少逐一组合适配带来的重复工作,做每一位开发者的跨芯适配后盾。

 

全栈开源:开放核心组件、工具与适配方案

目前,FlagOS 已形成完整的开源技术体系,核心组件已在 GitHub 开源,同时开放了数十款最新的主流基础大模型、十多款 AI 芯片的适配方案与最佳实践:

  • 四大核心技术库: FlagGems 通用大模型算子库、FlagTree 统一 AI 编译器、FlagScale 训练推理并行框架、FlagCX 统一通信库,覆盖算子开发、编译优化、并行计算、跨芯片通信全链路;

  • 三大开源工具平台: FlagRelease 大模型自动迁移发版平台、KernelGen 算子自动生成工具、FlagPerf 多芯片评测工具,提供从模型适配、性能评测到工程落地的一站式工具链;

  • 全场景扩展生态: vLLM-plugin-FL、SGLang-plugin-FL、Torch-FL、Megatron-LM-FL、TransformerEngine-FL 等框架增强组件,以及 FlagOS-Compressor 量化压缩工具、FlagPrism 跨芯调试工具、FlagOS-Robo 具身智能工具包,向训练、推理与具身智能等应用场景延伸。

 

参与共建:反馈问题、完善文档、贡献代码

我们为不同技术方向、不同经验层级的开发者设计了低门槛、多路径的共建方式:

  • 新手友好型参与: 可在对应仓库提交 Issue 反馈 bug、优化建议,或是补充完善文档、撰写入门教程与最佳实践,也可参与社区技术交流、分享使用经验(社区文档:https://docs.flagos.io/en/latest/);

  • 深度技术共建: 开发者可直接参与 FlagGems 算子开发与优化(新增算子 / 性能调优 / 新芯片后端支持)、KernelGen 算子生成流程增强、FlagTree 编译器后端扩展等核心模块,与社区核心开发者一起推动技术演进;

  • 生态工具贡献: 开发者可基于 FlagOS Skills 开发面向国产芯片的 AI Agent 专业技能,帮助更多开发者通过自然语言完成芯片适配、模型部署等操作。

 

关于众智FlagOS社区

为推动不同 AI 芯片大规模落地应用,北京智源人工智能研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立了众智 FlagOS 社区,目前已经有 100 多家成员单位。FlagOS 是一款专为多种 AI 芯片打造的开源、共享的 AI 系统软件栈。在适配支持范围内,AI 模型一次开发即可迁移至不同 AI 芯片平台,降低迁移与适配成本。它包括大型算子库、统一 AI 编译器、并行训推框架、统一通信库等核心开源项目,致力于构建「模型-系统-芯片」三层贯通的开放技术生态,通过一次开发跨芯迁移释放硬件计算潜力,打破不同芯片软件栈之间生态隔离。

 

官网:https://flagos.io

GitHub 项目地址:https://github.com/flagos-ai

GitCode 项目地址:https://gitcode.com/flagos-ai

SkillHub: https://skillhub.flagos.io

Logo

欢迎来到FlagOS开发社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。

更多推荐