JetBrains自研大模型Mellum2正式开源

星***

Mellum2是一个120亿参数的模型，专为解决生产AI中的延迟、吞吐量和成本这三大最棘手的挑战而设计，架构与性能如下：

混合专家 (MoE) 设计： 模型共有 120 亿参数，但由于其采用 MoE 设计，每个 token 仅有 25 亿参数处于激活状态。此设计在降低计算成本的同时，可以对实时工作负载进行高吞吐量、低延迟推理。

专属侧重点：与很多现代模型不同，Mellum2 并非多模态模型， 它专门针对自然语言与代码数据进行训练。这种专门化可以确保模型在软件工程环境中表现出色，同时保持轻量和高速。

在技术报告 (https://arxiv.org/abs/2605.31268)中，详细介绍了模型在代码生成、科学、数学和推理基准测试中的表现。Mellum2 在与同规模模型的竞争中不落下风，同时将推理时间缩短至不到一半，这对生产级部署来说是一项决定性优势。

Mellum2 的主要使用场景：

路由和编排 AI 工作负载：使用 Mellum2 分析传入提示，帮助为每项任务选择合适的模型或工具。

构建低延迟 RAG 流水线：检索相关上下文、使用 Mellum2 进行总结，并即时生成回答。

为复杂工作流中的快速子智能体提供支持：将智能体流水线拆分为多个步骤，例如上下文收集、规划和验证。使用 Mellum2 执行快速、专门的任务，而不依赖于单个大模型。

实现私有、本地 AI 部署：在本地运行 Mellum2 或进行自托管，以确保代码和数据完全在您的掌控之中。
文章来源：JetBrains公众号 (https://mp.weixin.qq.com/s/fihxM_w4u71IZ_7-H-uceQ)
模型下载：Hugging Face (https://huggingface.co/collections/JetBrains/mellum-2)