本分享围绕 sglang‑plugin‑FL 展开，这是一套基于 SGLang 的 out‑of‑tree 外部推理插件，依托 FlagOS 生态组件，实现跨芯片大模型推理能力。项目通过 ATen 算子替换、融合算子调度、统一通信抽象、PD 分离 KV Cache 传输、Empty 模式依赖拆分等机制，无需修改 SGLang 内核源码，即可对接不同硬件。目前已完成昇腾、海光、昆仑芯等十款芯片平台适配。分享讲解插件整体架构、核心运行原理，剖析多国产芯片在并行通信、依赖耦合、算子差异等方面的适配痛点与解决方案，并介绍项目后续算子扩展、平台迭代、分布式部署的演进路线，为异构国产芯片上的大模型服务部署提供开源实践参考。