登录社区云，与社区用户共同成长
邀请您加入社区
FlagOS 为主流推理框架打造了统一的多芯片插件，包括 vLLM-plugin-FL 和 SGLang-plugin-FL，基于 FlagOS 统一多芯片后端开发，在不改变原生接口与用户使用习惯的前提下，实现 Qwen3.8-Flash-Next 的多芯片推理部署。其他芯片的运行时版本、插件分支、FlagGems/FlagTree 提交以及是否需要 FlagCX，请以对应芯片的模型卡和 vLLM
一个 cuda shared library 的通用Makefile。
