星颖资源网

 找回密码
 立即注册
查看: 98|回复: 3

淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s

[复制链接]

7万

主题

1万

回帖

26万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
265943
发表于 2026-11-6 15:17:02 | 显示全部楼层 |阅读模式
11 月 6 日消息,淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。
围绕淘宝等综合型手机应用,团队将“手机应用原生大模型”落实为四个维度的设计目标:

  • 速度上,在指定设备与上下文配置下,解码吞吐超过 200token/s。这一目标参考高速云端模型服务的生成吞吐,力求在本地提供流畅的生成体验。

  • 内存上,在指定测试条件下,峰值内存低于 300MB。即使手机拥有 8~16GB 内存,也需要由系统与多个应用共享。以约 500MB 的模型模块预算为例,将推理峰值控制在 300MB 以下,可以为上下文增长和集成开销保留余量。

  • 功耗上,在典型推理负载(输入 512~1024token、输出 128token)下,单次推理增量能耗目标不超过参考手机电池能量的万分之一,即 100 次推理耗能不超过电池能总量的 1%,控制高频调用的续航开销。

  • 能力上,以在指定业务场景上达到 8B 级模型的效果为目标,兼顾中英文理解、世界知识与数学、代码推理能力,重点强化指令遵循,并为长上下文与多步骤任务保留扩展空间。
    MNN 团队从零设计并训练了这个约 3 亿参数、重点支持中文与英文的轻量语言模型,将模型结构、词表、训练数据、预训练与后训练方法,以及量化和推理引擎纳入协同优化,为淘宝业务与开源社区开发者提供一个具备任务理解能力、响应迅速、易于适配和集成的模型底座。
    仓库alibaba/mnn (https://github.com/alibaba/mnn)

    GitHub - alibaba/MNN: MNN: A blazing-fast, lightweight inference engine... (https://github.com/alibaba/mnn)
    MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.

    ithome.com (https://www.ithome.com/1/023/212.htm)
    淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s - IT之家
    淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。
  • 回复

    使用道具 举报

    0

    主题

    3431

    回帖

    6862

    积分

    VIP(年费)

    积分
    6862
    发表于 2026-11-6 23:48:49 来自手机 | 显示全部楼层
    如果后面更新了,麻烦在主帖里也标一下。
    回复

    使用道具 举报

    0

    主题

    3649

    回帖

    7298

    积分

    VIP(月费)

    积分
    7298
    发表于 6 天前 | 显示全部楼层
    这年头,信息不缺,缺的是 把信息转化为行动的决心和执行力 。
    回复

    使用道具 举报

    0

    主题

    3676

    回帖

    7352

    积分

    VIP(月费)

    积分
    7352
    发表于 3 天前 来自手机 | 显示全部楼层
    榜上留名,混个脸熟,吾乃新星,多多关照....
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    微信

    社群

    VIP

    AI

    顶部

    QQ|本站内容来源网友投稿或网络转载,如果有侵权的内容,请联系我们删除。|小黑屋|人人为我,我为人人!| 星颖资源网

    GMT+8, 2026-11-19 11:13 , Processed in 0.803615 second(s), 23 queries .

    快速回复 返回顶部 返回列表