JetBrains开源Mellum 2:12B总参数MoE模型,推理仅激活2.5B参数

JetBrains正式开源代码补全模型Mellum 2,总参数12B,采用MoE架构,推理时仅激活2.5B参数。模型从零训练,面向企业级AI工作流,以Apache 2.0许可发布,旨在提供低延迟、高性价比的底层模型方案。

JetBrains近日正式开源了其新一代代码补全模型Mellum 2。该模型拥有12B总参数,采用混合专家架构(Mixture-of-Experts,MoE),每token推理时仅激活2.5B参数,在不显著降低性能的前提下大幅降低计算开销。Mellum 2从零开始训练,数据集涵盖自然语言和代码,旨在为生产环境中的低延迟、高吞吐量推理提供高效方案。

官方信息显示,Mellum 2主要面向Agentic AI系统的基础设施层,承担路由、检索等任务,而非直接面向用户的代码补全界面——这与Claude Code等产品形成错位竞争。JetBrains表示,Mellum 2是专门为企业级AI工作流设计的,更加注重推理效率与成本控制。

多多金蛋
JetBrains开源Mellum 2:12B总参数MoE模型,推理仅激活2.5B参数 -

阿逸
阿逸
文章: 1640

发表回复