随着大模型训练与推理规模不断扩大，AI Infra 工程任务日趋复杂。模型迁移、算子适配、性能优化与精度验证等工作，不仅专业性强、执行链路长，还需要大量持续的实验与验证。Agent 如何才能可靠地完成这类复杂的长程工程任务？

围绕这一问题，FlagOS社区推出FlagScale-Agent，其是一个专攻大规模分布式训练、推理与服务基础设施的自主 AI 智能体。它基于 ReAct（推理+行动）范式，融合大模型推理能力与领域工具、知识和安全约束，可自动化完成从环境配置、数据准备到训练启动、监控、调试及模型迁移的全流程复杂工作。

本文将介绍FlagScale-Agent的核心设计，并结合跨芯片训练迁移与训练性能优化等实践，探讨 Agent 在 AI Infra 工程任务中的应用。

一、多元算力下，AI Infra工程任务面临的困难挑战

首先，AI Infra 面临软件与硬件生态的复杂性的问题。模型从 PyTorch、Transformers 等开发环境迁移到 vLLM、Megatron-LM 等执行引擎时，往往需要进行代码和配置适配，并完成精度对齐与性能验证。

与此同时，不同 AI 芯片架构和硬件系统之间存在差异，算子、插件和适配层需要持续完善。上游框架快速迭代，也进一步增加了软件栈维护和适配的工作量。

而通用 Agent 在 AI Infra 中通常会面临三大棘手问题：

• 专业知识不足：缺乏训练框架、并行策略、算子优化和性能诊断等领域知识；即使加载了 Skills，也不意味着能够可靠遵循。
• 执行链路复杂：任务涉及多个连续步骤，单点错误可能影响整个流程，缺少有效检查还可能导致问题不断累积。
• 上下文难以持续：长任务会产生大量对话、日志和实验记录，简单压缩历史信息容易造成状态丢失和语义偏差。

因此，AI Infra 场景需要的不仅是能够调用工具的 Agent，还需要具备长任务管理、执行约束、结果验证和经验积累能力。FlagScale-Agent 正是围绕这些问题展开设计，重点提升长任务完成率，让执行过程具备可验证证据，并支持从任务反馈中持续改进。

 

二、FlagScale-Agent 架构设计：面向复杂任务的协同执行体系

围绕复杂任务的执行过程，FlagScale-Agent 构建了由主 Agent、Workers、Reviewer、Diverger，以及 Knowledge、Skills、Plan、Guard、Context、Memory 和 RSI 等模块组成的协同架构。

其中，主 Agent 负责任务理解与整体统筹，Diverger 探索不同方案，Workers 分工执行具体任务，Reviewer 对执行结果进行独立复核。Knowledge 和 Skills 提供专业知识与操作流程，Plan、Guard、Context 和 Memory 支撑任务持续执行，RSI 则推动 Agent 根据任务反馈不断改进。各模块协同形成从任务规划、执行、验证到经验沉淀的完整闭环。

 

 

让任务可规划、执行可验证

Plan 将复杂任务拆解为可追踪的执行步骤。其通过 title、status、steps、depends_on、acceptance 和 verification 等字段，记录任务目标、执行步骤、依赖关系与验收结果。Agent 在执行过程中持续更新 Plan，使任务进度和验证状态得到持久记录，减少对当前对话上下文的依赖。

Guard 负责执行过程中的检查与纠偏。工具调用前后，Guard 分别通过 Pre-check 和 Post-check 检查执行行为及结果。Guard Registry 管理安全、知识、进展和验收等规则，并可根据调用次数、经过时间或工具内容触发检查。

 

例如，对于危险 Shell 操作，Guard 可以缩小操作范围；对于破坏性 Git 操作，可以检查是否存在可恢复副本；对于实验结果，则通过 Verification Guard 对比 Expected、Observed 和 Gap，判断是否需要补充实验或进一步排查。

保障任务连续性与经验复用

Context 负责维持当前任务的连续性。系统将较早的历史消息换出保存，并在需要时按需召回。当需要 Hard Reset 时，则根据原始任务、Plan、Memory、任务摘要、最近消息和独立保存的任务状态重建上下文，在控制窗口内容的同时保留历史信息。

Memory 负责积累和复用跨 Session 的经验。 记忆分为 fact、pitfall 和 insight，分别记录事实、问题陷阱和经验洞察，并支持查询、读取、主动写入和更新。对于反复出现的问题，还可以进一步沉淀为 Knowledge、Skills 或 Agent Code 的改进。

 

提升专业执行能力

FlagScale-Agent 的 Knowledge 覆盖训练框架、通信并行、模型算子、国产算力、性能诊断和集群基础设施等领域；Skills 则涵盖配置、启动、监控、并行调优、Profile、精度验证和迁移适配等操作流程。

执行任务时，Agent 根据需求定位相关 Knowledge 和 Skills，并将其中的方法、约束和检查点落实到 Plan 中，让专业知识真正参与任务执行。

 

对于复杂任务，FlagScale-Agent 通过多Agent分工协作提升执行效率：

• Diverger：在方案形成前，按需探索不同方法，由主 Agent 核实和选择。

• Worker：在任务边界明确后，按照约定的目标、产物和验收要求分工执行。

• Reviewer：在产物冻结后，依据原始任务、明确产物、完成主张与证据进行独立复核。

推动 Agent 持续自我改进

FlagScale-Agent 通过 RSI 机制，将任务执行中的反馈转化为后续改进。其过程包括 Task、Action、Observation、Accept、Feedback、Proposal、Implement、Regression、Evaluation 和 Adopt。

改进主要分为两个方向：一是对 Tools、Guard、Prompt、Context 和 Plan 等 Agent Code 进行优化；二是对 Memory、Knowledge 和 Skills 等知识经验进行完善。

 

 

例如，针对训练启动后才发现参数不合法的问题，Agent 增加了启动前检查；针对同一局部性能测试多次复跑结果不一致的问题，则在 Knowledge 中补充测量规范，要求多次复测并报告实测范围。

 

三、FlagScale-Agent 实践：从训练迁移到性能优化

FlagScale-Agent 的架构设计最终需要落到实际工程任务中。目前，该架构已经在模型迁移、训练性能优化和长时间自主探索等场景中取得了不错的成绩。

跨芯片训练迁移：保障任务执行与验证

在跨芯片训练迁移中，FlagScale-Agent 围绕任务准备、迁移调优和运行闭环展开工作，覆盖训练配置、数据与环境准备，以及模型迁移、并行策略和精度验证等环节。实验中，100 步训练的 loss 曲线保持平稳，未出现明显 spike。

在执行效果对比中，FlagScale-Agent 的 Critical Rules 指标由 Claude Code 的 50% 提升至 70%，Pipeline Compliance 由 45% 提升至 66%；两者的 E2E Validation 均为 Pass。

 

训练性能优化：实现 4.50 倍加速

在训练性能优化中，FlagScale-Agent 面向 Qwen3.6-35B-A3B 模型开展优化。实验配置为 16K 序列长度、GBS32、BF16，采用双机、32 个逻辑 NPU，初始训练步时为 43.65 秒。

Agent 首先建立训练基线，再结合 Profile、运行日志和源码分析定位性能瓶颈，发现 MoE argsort 算子开销较高。围绕这一问题，Agent 对 MoE 索引路径进行优化，并通过局部正确性验证、代码与配置同步、双机端到端复测等环节，检查优化效果。

优化过程中，Agent 还探索了显存与 MBS、并行与通信、参数更新、运行时与 Graph、模型内部结构等多个方向。对于执行受阻、存在错误或未带来实际收益的方案，及时回退或暂不采用，最终将有效的 MoE 索引路径优化纳入交付组合。

经过优化，训练步时从 43.65 秒降至 9.69 秒，实现 4.50 倍加速。同时，精度保持严格对齐，max |Δloss| 为 7.16 × 10⁻⁴。最终交付内容包括优化补丁、配置和运行日志。

 

 

长程性能探索：持续实验与自主改进

除了针对明确瓶颈开展优化，FlagScale-Agent 还进行了长时间的自主性能探索。

在另一组 Qwen3.6-35B-A3B 实验中，配置为 32K 序列长度、GBS256，性能从 36 TFLOPS/GPU 提升至 144 TFLOPS/GPU，实现 4 倍提升。整个探索过程持续约 60 小时，没有人工介入，累计完成上百个实验。

在这一过程中，Agent 围绕 EP-A2A overlap、重计算和 FP8 等方向开展受控 A/B 实验，同时修复软件栈自身存在的问题，并在不同芯片和集群规模下进行探索，包括 8 机 64 卡的场景。整个任务过程保持可追溯，没有出现任务漂移。

长时间运行也为 Agent 的自我改进提供了反馈。例如，在完整训练启动前发现参数不合法后，Agent 增加了启动前检查；针对同一局部性能测试多次运行结果存在差异的情况，则将测量规范补充到 Knowledge 中，通过多次复测报告实测范围。

 

四、写在最后

随着大模型训练与推理规模不断扩大，AI Infra 工程任务正变得更加复杂。模型迁移、算子适配、性能优化与精度验证，不仅考验专业能力，也对 Agent 的长程规划、持续执行和可靠验证提出了更高要求。

FlagScale-Agent 通过任务规划、执行约束、专业知识管理和多角色协作，将这些能力融入 AI Infra 工程流程，并在跨芯片训练迁移、训练性能优化和长程自主探索中进行了实践验证。

从完成具体工程任务，到在持续实验中积累经验并改进自身，FlagScale-Agent 探索了 Agent 参与 AI Infra 复杂任务的一种实现路径。未来，随着架构与实践的不断完善，Agent 有望在更多 AI Infra 场景中发挥作用，让复杂工程任务的执行更加自动化、可验证和可持续。

 

关于众智FlagOS社区

为解决不同 AI 芯片大规模落地应用，北京智源研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立了众智 FlagOS 社区，目前已经有 100多家成员单位。

FlagOS 是一款专为异构 AI 芯片打造的开源、跨芯系统软件栈，支持 AI 模型一次开发即可无缝移植至各类硬件平台，大幅降低迁移与适配成本。它包括大型算子库、跨芯AI 编译器、并行训推框架、跨芯通信库等核心开源项目，致力于构建「模型-系统-芯片」三层贯通的开放技术生态，通过"一次开发跨芯迁移"释放硬件计算潜力，打破不同芯片软件栈之间生态隔离。

 

官网：https://flagos.io

GitHub 项目地址：https://github.com/flagos-ai

GitCode 项目地址：https://gitcode.com/flagos-ai

SkillHub: https://skillhub.flagos.io