马斯克宣布 Grok V9-Medium 完成训练:1.5 万亿参数,Cursor 数据加持,2-3 周内发布

马斯克宣布 xAI 完成 Grok V9-Medium 训练,参数量达 1.5 万亿,评估表现良好,训练加入大量 Cursor 数据,模型正在微调,强化学习即将启动,预计 2-3 周内发布。现有 V8-Small 计划年底开源。

马斯克日前通过 X 平台宣布,由他创立的人工智能公司 xAI 已完成 Grok 基座模型 V9-Medium 的训练工作。该模型参数量达到 1.5 万亿(1.5T),是 xAI 迄今为止公开的参数量最大的版本之一。根据披露的评估结果,模型表现良好。在训练数据的构成上,马斯克特别提到加入了大量来自 Cursor 的数据进行补充训练,并透露后续还将有更多相关数据陆续加入。目前该模型正在执行微调,强化学习阶段将在数天后启动,整个流程完成后预计在 2 到 3 周内面向公众发布。

xAI Grok 新标识
马斯克旗下 xAI 的 Grok 模型启用新标识,灵感来源于黑洞

参数量与训练数据

V9-Medium 以 1.5 万亿参数成为 xAI 的重要基座模型。与当前服务 Grok 全部线上流量的 V8-Small(0.5T 参数)相比,参数规模扩大了 3 倍。马斯克表示,由于在训练过程中融入了大量 Cursor 数据,新模型在复杂编程任务上的能力将有重大提升。Cursor 数据源自编程辅助工具的交互记录,能够帮助模型更准确理解代码结构和生成逻辑。xAI 还计划后续持续添加更多相关数据,进一步优化模型表现。

后续安排与开源计划

据马斯克透露,V9-Medium 当前正在进行微调,强化学习将在未来数日内启动。待全部训练流程完成后,模型预计在 2-3 周内向公众开放使用。此外,当前用于线上服务的 0.5T 参数版本 V8-Small 计划在今年年底前开源。马斯克认为,即使是参数规模较小的 V8-Small 在开源后仍具有实用价值,开发者可以基于其进行二次开发或学术研究。

从 V8-Small 到 V9-Medium,xAI 在基座模型上的迭代体现了其对参数规模和训练数据质量的重视。V9-Medium 是目前 xAI 参数量最大的基座模型之一,其在编程等复杂任务上的表现预计较 V8-Small 有显著提升。同时,xAI 已计划在今年年底前开源 V8-Small,为开发者社区提供可用的基座模型。

本文参考来源:OSCHINA 社区最新新闻



微信扫描下方的二维码阅读本文

马斯克宣布 Grok V9-Medium 完成训练:1.5 万亿参数,Cursor 数据加持,2-3 周内发布 - 1.5万亿参数, Cursor, Grok V9-Medium, xAI, 人工智能, 基座模型, 大语言模型

发表回复