从云到端,AI 的最后一公里
·
本期嘉宾:北京智源人工智能研究院 性能优化工程师 赵帅
本期看点:
看点① 端侧 AI 为什么 "突然" 能落地了? —— 模型变小、算力变强、软件成熟,三股力量把 AI 推进了设备里。这是判断 "临界点已到" 的第一手证据。
看点② 大模型怎么 "住进" 你的手机 / PC / 机器人? —— 端、边、云怎么分工,插电和不插电设备怎么取舍?
看点③ ARM CPU 跑大模型,性能提升 21%-25% —— 不靠 GPU/NPU,纯 CPU 也能把 MiniCPM、Qwen 跑出百级 tok/s,带你拆解 SME2+I8MM 的实测数据。
看点④ FlagOS 多芯适配:一次优化,多款设备复用 ——21 家芯片厂商、35 款芯片,开放生态怎么把 "适配一次" 变成 "处处复用"。
欢迎来到FlagOS开发社区,这里是一个汇聚了AI开发者、数据科学家、机器学习爱好者以及业界专家的活力平台。我们致力于成为业内领先的Triton技术交流与应用分享的殿堂,为推动人工智能技术的普及与深化应用贡献力量。
更多推荐




所有评论(0)