面壁智能发布全球首个AI自主编写预训练框架ForgeTrain及MiniCPM5-1B模型

面壁智能发布全球首个完全由AI编写的大模型预训练框架ForgeTrain,并用该框架训练出端侧模型MiniCPM5-1B。ForgeTrain训练速度比英伟达Megatron快10%,在华为昇腾上也有10%加速。MiniCPM5-1B以1B参数刷新智能密度上限,在AA-Index上超越所有2B以下模型。

面壁智能近日发布了全球首个完全由AI编写的大模型预训练框架ForgeTrain,并利用该框架成功训练出端侧模型MiniCPM5-1B。这一进展将“AI制造AI”从概念推进到可展示、可评测、可复现的工程样本阶段。

ForgeTrain:AI编写的大模型预训练框架

ForgeTrain是面壁智能推出的生产级预训练框架,完全由AI自主编写代码。在相同硬件条件下,其训练速度比英伟达的Megatron框架快10%。在华为昇腾平台上,ForgeTrain相比昇腾原生框架同样实现了10%的加速。该框架在功能上对齐Megatron,但性能更优。

ForgeTrain、MiniCPM5-1B与锻造工程关系示意图
ForgeTrain、MiniCPM5-1B与锻造工程关系示意图

伴随ForgeTrain,面壁智能提出了一套新的软件编程范式——Forge Engineering(锻造工程)。其核心思路是:当AI编写代码的成本越来越低,未来软件可以不拘泥于通用大框架,而是针对不同模型、不同硬件、不同任务,由AI现场锻造专用代码。这种从“工业批量生产”到“高级定制”的转变,旨在将每个场景的性能压榨到极致。

AI自主编写预训练框架的难点在于验证代码正确性与效率。面壁智能采用三阶段构建方法论,将Harness作为“考场”,让AI自动生成代码、运行测试、获取反馈并迭代修改,整个过程无需人类干预。目前ForgeTrain在功能上与英伟达Megatron完全对齐,且速度更快。

MiniCPM5-1B:低门槛的端侧模型

由ForgeTrain训练出的MiniCPM5-1B是一个1B参数规模的端侧模型。在FP16精度下权重体积约2GB,适合GPU、高端笔记本电脑和服务器;INT4/Q4精度下约0.5GB,可面向手机、平板、车机等设备。该模型可以常驻电脑桌面,成为一个随时响应的AI伙伴,支持聊天、上下文接话、人格设置等功能(基于clawd-on-desk项目二次开发)。

在公开评测中,MiniCPM5-1B/think平均分为42.57。在MMLU-Pro、MMLU-Redux、AIME-2025、AIME-2026、BFCL-v4、AA-Index等多项基准测试中均取得对应成绩。值得关注的是,以1B参数规模,它在AA-Index上超越了所有2B以下参数模型,再次刷新了小模型的智能密度上限。相比3个月前发布的Qwen3.5-2B,MiniCPM5-1B参数量减少一半但效果更优。面壁智能指出,大模型的智能密度正在以约每3.5个月翻一番的速度持续提升。

MiniCPM5-1B提供了完整的工具链,推理侧支持SGLang、vLLM、llama.cpp、Ollama、Hugging Face、ArcLight等;微调侧支持LLaMA-Factory、ms-swift等工具,降低了开发者的部署和定制门槛。

面壁智能将AI制造AI的能力划分为L1至L5五个阶段。ForgeTrain对应的是已进入大模型研发最核心基础设施层的阶段,即预训练框架的自主构建。尽管尚未达到AI自行发明下一代Transformer的程度,但这一工程样本表明,AI自主编写核心代码的路径已可行。

本文参考来源:量子位



微信扫描下方的二维码阅读本文

面壁智能发布全球首个AI自主编写预训练框架ForgeTrain及MiniCPM5-1B模型 - ForgeTrain, MiniCPM5-1B, 智能密度, 端侧模型, 锻造工程, 面壁智能, 预训练框架

发表回复