🔔科技频道[奇诺分享-ccino.org]⚡️
9 小时前
IT之家
最高降价 99%,小米 MiMo 首次公开模型推理系统全链路优化技术细节
Telegraph
|
原文
Telegraph
最高降价 99%,小米 MiMo 首次公开模型推理系统全链路优化技术细节 - IT之家
IT之家 5 月 30 日消息,5 月 27 日,小米 MiMo-V2.5 系列 API 完成永久降价,最高降幅达 99%,不区分输入长度。今日,小米正式公开 MiMo-V2.5 系列模型的推理系统全链路优化方案。 据介绍,该团队围绕 Hybrid SWA + MoE + 多模态的复合架构,系统性重构了从 KVCache 管理、分级缓存、前缀缓存到调度策略与 Prefill / Decode 链路的完整推理栈,KVCache 存储压缩至同级方案的约 1/7,在长序列场景下推理成本大幅下降 —— 这是本次降价的核心技术基础。…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia