星颖 发表于 2026-9-25 14:38:31

小米对Mimo 3进行预告

MiMo-V3 即将采用全新架构。其核心 HySparse2 今日发布。
更少的预填充、更小的 KV 缓存、更出色的长上下文检索——我们一次实现了所有三者。
与 MiMo-V2.6 的 Hybrid SWA 架构相比:
在 1M 令牌时,预填充 FLOPs 降低 5.02 倍
在 1M 令牌时,KV 缓存缩小 4.5 倍
更高的 MRCRv2 和 RULER-v2 分数,外加更低的 AgentPPL 和 LongPPL
为什么构建全新架构?
代理式推理是一种截然不同的工作负载。每轮中,简短的动作可能返回需要预填充的长观察结果,同时上下文持续增长。这使得预填充成本、KV 缓存大小和检索准确性同时成为关键路径。
HySparse2 通过两级 KV 共享机制同时应对所有三者:
KV Bridging:遵循 YOCO 的方法,跨解码器中的全注意力层从自解码器隐藏状态构建其 K/V。
KV Reuse:在每个混合块内,稀疏层重用前序全注意力层的 KV 缓存和选择索引。
另外两项改动:令牌级选择取代块级选择,强制窗口内的近期令牌取代独立的 SWA 分支,因此本地和全局令牌共享一个 KV 缓存。由于所有跨解码器 KV 缓存现均来自自解码器,预填充可在自解码器完成后即停止。
来源: X 上的 Fuli Luo:“MiMo-V3 is getting a new architecture. The core of it, HySparse2, is out today. Less prefill, a smaller KV cache, better long-context retrieval—and we got all three at once. Compared with MiMo-V2.6’s Hybrid SWA architecture:5.02× lower prefill FLOPs at 1M tokens4.5× https://t.co/2tLCjaKPFX” / X (https://x.com/_LuoFuli/status/2102766365190901957)

Blazer 发表于 2026-9-25 18:06:10

成长是一场自我发现的旅程

LuoHanYing7 发表于 2026-10-15 17:19:46

男儿有志在四方,心中有痛不声张,星友们加油!!!

XueHua6 发表于 2026-10-19 11:34:06

66666666

FengBoWen1 发表于 2026-10-22 14:46:15

成功不是奇迹,而是 一个个具体行动的累积 。

皮一下 发表于 2026-10-25 13:30:34

睡前必刷星颖,今日份搞钱打卡完成

Darken 发表于 2026-10-25 13:31:13

把刷剧时间换成搞钱技能,我赌三年后的自己

MingTian234 发表于 2026-10-25 13:31:43

这一类内容我平时接触得少,过来长长见识。

YunShan1 发表于 2026-10-25 13:34:30

谢分享,加入星颖,不仅学到了知识,更收获了一群志同道合的朋友,路走宽了哈哈哈

CaoYuLing3 发表于 2026-10-25 13:42:46

这个帖子适合新人先看一遍,能少走很多弯路。
页: [1] 2
查看完整版本: 小米对Mimo 3进行预告