|
|
11 月 6 日消息,淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。
围绕淘宝等综合型手机应用,团队将“手机应用原生大模型”落实为四个维度的设计目标:
速度上,在指定设备与上下文配置下,解码吞吐超过 200token/s。这一目标参考高速云端模型服务的生成吞吐,力求在本地提供流畅的生成体验。
内存上,在指定测试条件下,峰值内存低于 300MB。即使手机拥有 8~16GB 内存,也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例,将推理峰值控制在 300MB 以下,可以为上下文增长和集成开销保留余量。
功耗上,在典型推理负载(输入 512~1024token、输出 128token)下,单次推理增量能耗目标不超过参考手机电池能量的万分之一,即 100 次推理耗能不超过电池能总量的 1%,控制高频调用的续航开销。
能力上,以在指定业务场景上达到 8B 级模型的效果为目标,兼顾中英文理解、世界知识与数学、代码推理能力,重点强化指令遵循,并为长上下文与多步骤任务保留扩展空间。
MNN 团队从零设计并训练了这个约 3 亿参数、重点支持中文与英文的轻量语言模型,将模型结构、词表、训练数据、预训练与后训练方法,以及量化和推理引擎纳入协同优化,为淘宝业务与开源社区开发者提供一个具备任务理解能力、响应迅速、易于适配和集成的模型底座。
仓库alibaba/mnn (https://github.com/alibaba/mnn)

GitHub - alibaba/MNN: MNN: A blazing-fast, lightweight inference engine... (https://github.com/alibaba/mnn)
MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.

ithome.com (https://www.ithome.com/1/023/212.htm)
淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s - IT之家
淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。 |
|