FlagOS Day0 适配 MiniCPM-OCR & Jev:覆盖 12 平台,让文档“AI 质检员”跑上端侧
面壁智能联合 OpenBMB 开源面向文档解析与文字识别的 MiniCPM-OCR 系列,包含 MiniCPM-OCR 1.0(1.3B) 与 MiniCPM-OCR Jev(2B) 两个模型。众智 FlagOS 社区基于统一多芯片软件栈,为两个模型提供 Day0 跨芯适配,覆盖平头哥、英伟达、华为昇腾、海光、昆仑芯、沐曦、摩尔线程、清微智能、天数智芯、曦望、Mac(ARM)及此芯科技,共 12 个平台。本轮评测中,FlagOS 版本 Jev 的计算吞吐达到英伟达原生的 98.7%,同平台 OCR 1.0 的单位峰值算力 P50 吞吐最高达到原生的 1.69 倍。在 ARM 端侧,Jev 仅使用 M5 CPU,平均 1.20 秒即可完成一次页面块判别。依托 FlagOS 对多芯服务器和 ARM 终端的支持,产业用户可以根据业务需求和现有算力条件,选择合适的文档解析与质检部署方案。
MiniCPM-OCR 1.0 面向扫描、拍照、弯曲、翻拍等真实文档场景,支持文字、公式、复杂表格解析与关键信息抽取。在官方评测中,这款 1.3B 参数的轻量模型在 Real5-OmniDocBench 上取得 93.68 分,引入 DSpark 解码加速后,端到端处理效率提升 55%。针对解析后仍需人工核验的问题,2B 参数的 MiniCPM-OCR Jev 承担文档“AI 质检员”的工作,对解析结果的可靠性评分,并可接入不同 OCR 模型,帮助筛选需要人工复核的内容。其在 JevOCRBench 上的整体 AUROC 达到 0.936,接近 Qwen3.5-397B-A17B 的 0.938。

图 1 MiniCPM-OCR 1.0 与开源 OCR 模型的平均解析得分及处理吞吐对比
一、跨芯推理性能:以英伟达原生为基线检验 FlagOS 软件栈
本次评测覆盖 Jev 判别与 OCR 文档解析两类任务。Jev 通过 Torch-FL 接入,OCR 1.0 通过推理框架插件接入,再结合 FlagGems 的算子实现与 FlagTree 的编译支持,在英伟达和国产芯片上执行。评测分别比较实际计算吞吐,以及按硬件峰值算力归一化后的文档处理效率。
1. MiniCPM-OCR Jev:英伟达 FlagOS 计算吞吐达原生的 82.3%,平头哥 FlagOS 达 98.7%
英伟达上的 Jev FlagOS 版本采用 Torch-FL + FlagGems + FlagTree。在 12 条样例、batch size 为 1 的单卡 BF16 测试中,其平均判别耗时为 76.2 毫秒,原生版本为 62.7 毫秒,实际计算吞吐达到原生的 82.3%。进一步看国产平台,FlagOS 平头哥版本的平均判别耗时为 63.56 毫秒,实际计算吞吐达到英伟达 H100 原生的 98.7%。

表 1 MiniCPM-OCR Jev:FlagOS 版本与英伟达原生的推理效率对比
2. MiniCPM-OCR 1.0:FlagOS+平头哥版单位峰值算力吞吐最高达英伟达原生的 1.69 倍
OCR 的跨芯性能还需要结合硬件算力规模来看。FlagOS + 平头哥版采用 vLLM-plugin-FL + FlagGems + FlagTree。本轮测试中,英伟达与平头哥均使用单卡 BF16 配置,峰值算力分别按 989 TFLOPS 和 123 TFLOPS 计算。按峰值算力归一化后,FlagOS+平头哥版本在单文档、批量文档场景下的 P50 吞吐,分别为英伟达原生的 169.3% 和 137.1%。

表 2 MiniCPM-OCR 1.0:FlagOS +平头哥与英伟达原生的 P50 吞吐对比
注:单位峰值算力吞吐比=(平头哥 P50 吞吐÷123)÷(英伟达原生 P50 吞吐÷989)×100%,峰值算力单位为 TFLOPS。
二、ARM 端侧适配:Jev 在 M5 CPU 上平均 1.20 秒完成一次判别
本次 MiniCPM-OCR 1.0 与 Jev 的 ARM 端侧适配覆盖 Mac 和此芯科技,将文档解析和可信度判别从服务器延伸到终端。本地部署可减少对网络连接的依赖,敏感文档也可以在设备内完成处理。这次端侧适配延续了 FlagOS 在 MiniCPM 系列上的工作。此前面向生成式模型的 ARM CPU 优化,针对输入处理和逐 Token 生成的不同计算特点,分别配置算子内核与线程,并通过复用权重和算子调用入口,减少重复准备与数据转换。MiniCPM-OCR 1.0 沿用 MiniCPM-V4.6 的模型架构,由于FlagOS持续支持MiniCPM模型的适配,所带来的已有实现和适配经验为新模型接入 ARM 提供了基础。
针对 Jev 的判别计算,FlagOS 在保留 BF16 权重与判别头的基础上,利用 SME2 矩阵指令加速主要线性层,并通过 Triton TLE Raw 接入算子执行路径。通过预打包并复用权重、按连续列条带组织矩阵计算,以及为矩阵内核和其他算子分别调优线程配置,减少重复数据准备与调度开销,缩短单次判别时延。在 12 条样例、batch size 为 1 的测试中,Jev 仅使用 M5 CPU,平均单次判别耗时为 1.2秒,中位时延为 895 毫秒。 这为终端在本地完成页面块识别结果的复核提供了实测依据。这里统计的是 Jev 的页面块判别耗时,不包含前序整页 OCR 解析流程。

表 3 MiniCPM-OCR 系列 ARM 端侧推理性能
三、开发者速用指南:MiniCPM-OCR 多芯版本获取与部署
FlagOS 技术栈为 MiniCPM-OCR 1.0 与 Jev 提供了覆盖 12 个平台的适配支持。通过 vLLM-plugin-FL、SGLang-plugin-FL 与 Torch-FL,结合统一算子库 FlagGems 与统一编译器 FlagTree,开发者可沿用 vLLM、SGLang、Transformers 等框架接口,在不同芯片平台上部署模型,MiniCPM官方模型 README 也已收录 FlagOS 多芯部署入口 [https://huggingface.co/],相关适配版本可通过魔搭社区与 Hugging Face 下载使用。本节以平头哥平台为例,介绍 OCR 1.0 的 vLLM-plugin-FL 部署与 Jev 的 Torch-FL 部署;各平台的框架版本、插件分支及模型专用配置见对应模型卡。官方开发者文档包含详细安装说明与代码示例:
-
vLLM-plugin-FL:https://github.com/flagos-ai/vllm-plugin-FL/blob/main/README.md
-
SGLang-plugin-FL:https://github.com/flagos-ai/sglang-plugin-FL/blob/main/README.md
-
Torch-FL:https://github.com/flagos-ai/Torch-FL/blob/main/README.md
方式一:FlagOS 源码方式
其他平台的组件版本和后端设置,以各自模型卡及插件文档为准。
1、MiniCPM-OCR 1.0:vLLM 部署
安装部署
基础组件采用 vLLM v0.24.0、vllm-plugin-FL v0.3.0 和 FlagGems v5.4.0。安装前,需按对应模型卡准备芯片驱动、运行时、兼容的 PyTorch 与 FlagTree/Triton-TLE 编译环境;运行推理前,还需完成 MiniCPM-OCR 所需的 vLLM、Transformers 模型适配补丁、依赖和环境变量配置。
# 1. 安装 vLLM v0.24.0
git clone https://github.com/vllm-project/vllm.git
cd vllm
git checkout v0.24.0
VLLM_TARGET_DEVICE=empty pip install -v --no-build-isolation --no-deps .
# 2. 安装 vllm-plugin-FL
git clone https://github.com/flagos-ai/vllm-plugin-FL
cd vllm-plugin-FL
git checkout v0.3.0
pip install --no-build-isolation -e .
# 3. 安装 FlagGems 算子库
git clone https://github.com/flagos-ai/FlagGems
cd FlagGems
git checkout v5.4.0
pip install --no-build-isolation -e .
# 4. (可选) 安装 FlagTree 统一编译器
# 详见 https://github.com/flagos-ai/FlagTree
# 5. (可选) 安装 FlagCX 统一通信库
# 详见 https://github.com/flagos-ai/FlagCX
运行推理
获取平头哥平台的 BF16 模型,启动单卡 OCR 服务:
python -m pip install huggingface_hub openai
hf download FlagRelease/MiniCPM-OCR-1.0-BF16-zhenwu-FlagOS \
--local-dir ./models/MiniCPM-OCR-1.0
vllm serve ./models/MiniCPM-OCR-1.0 \
--served-model-name minicpm-ocr \
--dtype bfloat16 --tensor-parallel-size 1 \
--trust-remote-code --enforce-eager \
--host 127.0.0.1 --port 8000
在另一终端中,将页面图像 document.png 传入 OpenAI 兼容接口,获取识别结果:
import base64
from pathlib import Path
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
image = base64.b64encode(Path("document.png").read_bytes()).decode("ascii")
response = client.chat.completions.create(
model="minicpm-ocr",
messages=[{"role": "user", "content": [
{"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image}"}},
{"type": "text", "text": "请识别图片中的文字,保留原有阅读顺序。"},
]}],
temperature=0,
max_tokens=4096,
)
print(response.choices[0].message.content)
2、MiniCPM-OCR Jev:Torch-FL 部署
安装部署
Torch-FL 针对不同芯片平台提供独立的安装指引(依赖各平台 SDK 与编译器版本),请按目标平台参照安装文档完成安装:
# 1. 按芯片平台安装 Torch-FL(各平台安装指引见 docs/vendors/<vendor>/installation.md)
git clone -b main https://github.com/flagos-ai/Torch-FL
cd Torch-FL
# 参照 docs/getting-started/installation.md 选择平台并完成安装
# 2. 安装 FlagGems 算子库
git clone https://github.com/flagos-ai/FlagGems
cd FlagGems
pip install --no-build-isolation -e .
# 3. (按平台需要) 安装 FlagTree 统一编译器
# 详见 https://github.com/flagos-ai/FlagTree
运行推理
从下表获取平头哥 Jev 模型,保存至 ./models/MiniCPM-OCR-Jev,并按模型说明安装 Transformers 等依赖。准备页面块原图 original.png、OCR 文本 ocr.txt 及该文本的渲染图 rendered.png,使用模型方提供的 demo_value_head.py 完成判别。在该文件所在目录运行以下示例,并将模型路径指向下载目录:
import torch_fl
from pathlib import Path
from demo_value_head import load, score
model, processor = load(
"./models/MiniCPM-OCR-Jev",
device="flagos:0", dtype="bfloat16", attn="sdpa",
)
result = score(
model, processor,
orig_image="original.png", render_image="rendered.png",
ocr_text=Path("ocr.txt").read_text(encoding="utf-8").rstrip("\r\n"),
)
print({"prob_1": result["prob_1"]})
prob_1 表示模型判断 OCR 文本及其渲染图与原图内容一致的概率,可用于安排人工复核顺序。OCR 1.0 在 vLLM 路径下的 tensor_parallel_size、max_model_len、max_num_batched_tokens 和 max_num_seqs 等参数按设备内存与文档长度设置;SGLang 路径按 SGLang-plugin-FL 文档配置;Jev 按 Torch-FL 对应平台文档配置运行环境。
方式二:模型镜像直接下载
开发者可按目标平台,从魔搭社区或 Hugging Face 获取 MiniCPM-OCR 1.0 与 Jev 的 BF16 模型镜像及配套文件。
魔搭平台
|
芯片平台 |
MiniCPM-OCR-1.0 |
MiniCPM-OCR-Jev |
|---|---|---|
|
平头哥 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-zhenwu-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-zhenwu-FlagOS |
|
英伟达 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-nvidia-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-nvidia-FlagOS |
|
华为昇腾 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-ascend-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-ascend-FlagOS |
|
海光 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-hygon-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-hygon-FlagOS |
|
昆仑芯 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-kunlunxin-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-kunlunxin-FlagOS |
|
沐曦 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-metax-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-metax-FlagOS |
|
摩尔线程 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-mthreads-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-mthreads-FlagOS |
|
清微智能 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-tsingmicro-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-tsingmicro-FlagOS |
|
天数智芯 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-iluvatar-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-iluvatar-FlagOS |
|
曦望 |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-sunrise-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-sunrise-FlagOS |
|
ARM 端侧 (M5&此芯) |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-arm-FlagOS |
https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-arm-FlagOS |
HuggingFace 平台
|
芯片平台 |
MiniCPM-OCR-1.0 |
MiniCPM-OCR-Jev |
|---|---|---|
|
平头哥 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-zhenwu-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-zhenwu-FlagOS |
|
英伟达 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-nvidia-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-nvidia-FlagOS |
|
华为昇腾 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-ascend-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-ascend-FlagOS |
|
海光 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-hygon-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-hygon-FlagOS |
|
昆仑芯 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-kunlunxin-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-kunlunxin-FlagOS |
|
沐曦 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-metax-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-metax-FlagOS |
|
摩尔线程 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-mthreads-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-mthreads-FlagOS |
|
清微智能 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-tsingmicro-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-tsingmicro-FlagOS |
|
天数智芯 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-iluvatar-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-iluvatar-FlagOS |
|
曦望 |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-sunrise-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-sunrise-FlagOS |
|
ARM 端侧 (M5&此芯) |
https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-arm-FlagOS |
https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-arm-FlagOS |
四、精度对齐:OCR 解析与 Jev 判别分别验证
1. MiniCPM-OCR 1.0:文字识别与文档解析精度
本次 OCR 评测使用开源多模态评测工具 FlagEvalMM,采用 OCRBench v1 与 OmniDocBench v1.6 两套基准。OCRBench v1 以准确率为主要指标,覆盖文字识别、场景文字理解、文档问答、信息提取和数学公式识别;OmniDocBench v1.6 侧重文档解析,评估文本识别、表格结构、公式识别与阅读顺序。各平台得分与英伟达原生基线对比,检验跨芯适配后的精度差异。已有评测结果显示,9 个平台在 OmniDocBench v1.6 上的相对得分差异绝对值均小于 0.65%;OCRBench v1 的相对差异为 −4.97% 至 +0.37%。

表 4 MiniCPM-OCR 1.0 各平台相对英伟达原生基线的精度差异
2. MiniCPM-OCR Jev:跨芯平均匹配概率对比
Jev 将原图、OCR 识别文本及其渲染图联合输入,输出识别结果与原图的匹配概率;使用时无需额外提供人工标注的标准转写文本。评测分两步进行:在 OCR-RM-Mini 上逐条比较输出,检查不同芯片平台的数值差异是否满足预设容差;在 OmniDocBench-Render-Compare 子集上比较各平台的质量评分,验证评测结果是否满足对齐要求。下表展示平均匹配概率(avg_prob_1)相对英伟达原生的差异。

表 5 MiniCPM-OCR Jev 各平台平均匹配概率相对英伟达原生的差异
五、大模型核心基座:FlagOS 2.2 全栈支撑,实现极速跨芯适配
MiniCPM-OCR 系列的跨芯适配,依托的是 FlagOS 2.2 统一多芯片系统软件栈。FlagOS 2.2 沿 AI 开放计算的技术路线持续演进,技术栈已覆盖 21 家 AI 芯片厂商、35 款 AI 芯片,通过统一、开放的软件栈,让不同芯片复用模型适配、算子优化与系统性能提升成果。从算子层、编译层、框架层到工具层,全链路为大模型跨芯适配提供技术支撑。

图 2 FlagOS 2.2 软件栈架构
1. 统一多芯片推理框架插件
FlagOS 为主流推理框架打造了统一的多芯片插件,包括 vLLM-plugin-FL 与 SGLang-plugin-FL,基于 FlagOS 统一多芯片后端开发,在保持原生接口与用户使用习惯的基础上实现多芯片推理部署。FlagOS 2.2 中,vLLM-plugin-FL 提供对 vLLM 0.20.2 与 0.24.0 的支持;SGLang-plugin-FL 配合首次发布的 FlagGems-SGLang 专用算子库,完善多芯片推理能力。本次 MiniCPM-OCR 1.0 的文档解析采用 vLLM、SGLang 适配路径;Jev 可信度判别采用 Transformers + Torch-FL 推理路径。
2. 高性能算子库 FlagGems 系列
FlagGems 系列是 FlagOS 核心的高性能、多芯片通用算子库,基于 Triton/Triton-TLE 语言实现。FlagOS 2.2 中,9 大算子库总算子数从 2.1 版本的 564 个增加至 1,454 个,并首次发布包含 40 个算子的 FlagGems-SGLang。在上千个算子、10 款异构 AI 芯片的测试范围内,跨芯片算子加速比中位数的均值由 0.861× 提升至 1.099×,整体性能指标较上一版提升约 27%。公共算子持续积累,让新模型适配能够复用已有实现,并在目标芯片上进一步调优。
3. 多芯片量化压缩工具 FlagOS-Compressor
FlagOS 2.2 首次发布 FlagOS-Compressor,为跨芯片部署提供统一的权重转换与量化工具,支持 W4A16、W8A16、W8A8 方案;面向 FP8、MXFP4 等低精度及混合精度权重,支持格式转换并重新量化为 INT8,使具备相应 INT8 算子与部署条件的存量设备获得运行新模型的更多选择。工具可按模块选择量化策略,为敏感模块保留高精度,并将权重、量化参数与运行配置一并导出。
4. 统一 AI 编译器 FlagTree 与调试工具 FlagPrism
FlagTree 是 FlagOS 面向多 AI 芯片后端的统一编译器,基于 Triton/TLE 定制,将公共算子编译为不同 AI 芯片后端可执行的代码。FlagOS 2.2 中,FlagTree 主分支新增 AMD、进迭时空、平头哥后端,并独立发布 FlagTree-CPU,支持 ARM CPU 低比特推理。同时,跨芯片编译器调试工具 FlagPrism 开源发布,提供 Triton/TLE 算子的 Debug 与 Profiling 能力,已支持 5 款芯片,帮助开发者定位数值问题与性能瓶颈。
5. 模型跨芯迁移发布工具 FlagRelease
依托 FlagOS 全栈技术能力,FlagRelease 为模型跨芯迁移、评测与版本发布提供工具支持。本次 MiniCPM-OCR 1.0 与 Jev 的适配覆盖 12 个平台,包含 Mac、此芯科技等 ARM 端侧平台。FlagRelease 在 Hugging Face、魔搭社区组织多芯 BF16 模型版本与部署说明,帮助开发者减少自行迁移与整理环境的工作。FlagRelease 累计发布的模型镜像已超过 300 个,持续沉淀新模型的多芯片适配成果。
六、开源共建:FlagOS 持续做开发者的「跨芯适配后盾」
模型与芯片持续更新,适配成果也需要持续维护。FlagOS 将算子、框架插件与工具向开发者开放,让模型团队和芯片厂商围绕公共接口协作,把一次适配中解决的问题留在公共软件栈中,供后续模型与更多平台复用,持续做开发者的跨芯适配后盾。
全栈开源,把技术主动权交给开发者
目前,FlagOS 已形成完整的开源技术体系,核心组件已在 GitHub 开源,同时开放了数十款最新的主流基础大模型、十多款 AI 芯片的适配方案与最佳实践:
-
四大核心技术库: FlagGems 通用大模型算子库、FlagTree 统一 AI 编译器、FlagScale 训练推理并行框架、FlagCX 统一通信库,覆盖算子开发、编译优化、并行计算、跨芯片通信全链路;
-
三大开源工具平台: FlagRelease 大模型自动迁移发版平台、KernelGen 算子自动生成工具、FlagPerf 多芯片评测工具,提供从模型适配、性能评测到工程落地的一站式工具链;
-
全场景扩展生态: vLLM-plugin-FL、SGLang-plugin-FL、Torch-FL、Megatron-LM-FL、TransformerEngine-FL 等框架增强组件,以及 FlagOS-Compressor 量化压缩工具、FlagPrism 跨芯调试工具、FlagOS-Robo 具身智能工具包,向训练、推理与具身智能等应用场景延伸。
多路径参与共建
开发者可从问题反馈、文档完善或核心模块开发入手,参与 FlagOS 共建:
-
新手友好型参与: 可在对应仓库提交 Issue 反馈 bug、优化建议,或是补充完善文档、撰写入门教程与最佳实践,也可参与社区技术交流、分享使用经验(社区文档:https://docs.flagos.io/en/latest/);
-
深度技术共建: 开发者可直接参与 FlagGems 算子开发与优化(新增算子 / 性能调优 / 新芯片后端支持)、KernelGen 算子生成流程增强、FlagTree 编译器后端扩展等核心模块,与社区核心开发者一起推动技术演进;
-
生态工具贡献: 开发者可基于 FlagOS Skills 开发面向国产芯片的 AI Agent 专业技能,帮助更多开发者通过自然语言完成芯片适配、模型部署等操作。
关于众智 FlagOS 社区
为推动不同 AI 芯片大规模落地应用,北京智源人工智能研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立了众智 FlagOS 社区,目前已经有 100 多家成员单位。FlagOS 是一款专为多种 AI 芯片打造的开源、共享的 AI 系统软件栈。在适配支持范围内,AI 模型一次开发即可迁移至不同 AI 芯片平台,降低迁移与适配成本。它包括大型算子库、统一 AI 编译器、并行训推框架、统一通信库等核心开源项目,致力于构建「模型-系统-芯片」三层贯通的开放技术生态,通过一次开发跨芯迁移释放硬件计算潜力,打破不同芯片软件栈之间生态隔离。
-
社区官网:https://flagos.io
-
GitHub:https://github.com/flagos-ai
-
GitCode:https://gitcode.com/flagos-ai
-
SkillHub:https://skillhub.flagos.io
欢迎来到FlagOS开发社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。
更多推荐




所有评论(0)