星颖 发表于 2026-11-6 15:17:02

淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s

11 月 6 日消息,淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。
围绕淘宝等综合型手机应用,团队将“手机应用原生大模型”落实为四个维度的设计目标:
[*]
速度上,在指定设备与上下文配置下,解码吞吐超过 200token/s。这一目标参考高速云端模型服务的生成吞吐,力求在本地提供流畅的生成体验。
[*]
内存上,在指定测试条件下,峰值内存低于 300MB。即使手机拥有 8~16GB 内存,也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例,将推理峰值控制在 300MB 以下,可以为上下文增长和集成开销保留余量。
[*]
功耗上,在典型推理负载(输入 512~1024token、输出 128token)下,单次推理增量能耗目标不超过参考手机电池能量的万分之一,即 100 次推理耗能不超过电池能总量的 1%,控制高频调用的续航开销。
[*]
能力上,以在指定业务场景上达到 8B 级模型的效果为目标,兼顾中英文理解、世界知识与数学、代码推理能力,重点强化指令遵循,并为长上下文与多步骤任务保留扩展空间。
MNN 团队从零设计并训练了这个约 3 亿参数、重点支持中文与英文的轻量语言模型,将模型结构、词表、训练数据、预训练与后训练方法,以及量化和推理引擎纳入协同优化,为淘宝业务与开源社区开发者提供一个具备任务理解能力、响应迅速、易于适配和集成的模型底座。
仓库alibaba/mnn (https://github.com/alibaba/mnn)
https://cdn3.ldstatic.com/optimized/4X/b/c/d/bcd0cc81a225ecc4af99c52c15069eee37c3fcc3_2_690x344.png
GitHub - alibaba/MNN: MNN: A blazing-fast, lightweight inference engine... (https://github.com/alibaba/mnn)
MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.
https://www.ithome.com/favicon.ico
ithome.com (https://www.ithome.com/1/023/212.htm)
淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s - IT之家
淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。

scyb520 发表于 2026-11-6 23:48:49

如果后面更新了,麻烦在主帖里也标一下。

SilentWhisper99 发表于 6 天前

这年头,信息不缺,缺的是 把信息转化为行动的决心和执行力 。

EchoesOfTime 发表于 3 天前

榜上留名,混个脸熟,吾乃新星,多多关照....
页: [1]
查看完整版本: 淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s