什么?一个人就能训练大模型,指标还能硬刚K3V4?
训练一个参数规模达5000亿的大模型,究竟需要多少人力?
AI领域的常规答案是:至少数十人,大型企业往往投入数百人。
然而,硅谷初创公司Mirendil将这一数字压缩到了极致——仅需一人。
近日,Mirendil在其官网发布了一篇标题颇为震撼的文章:《无需预训练团队的大规模预训练》。
文章标题下方列出了三个关键数字:1名研究员、三个半月、成本不足1000万美元。
这笔费用涵盖了Agent的token消耗、数据处理以及全部研究实验成本。凭借这些投入,他们成功训练出了千亿参数模型:Mirendil-Base,一个参数范围在1000亿至5000亿之间的编码专用基座模型。
Mirendil在文章中宣称,新模型超过99%的代码并非由人类编写,而是由Agent生成。
人类研究员只需负责确定方向、做出判断,并在关键节点进行干预。编写代码、执行实验、排查错误等任务,全部交由Agent完成。
在Mirendil的测试中,新模型的部分性能指标已接近Kimi K3、GLM-5.3、DeepSeek-V4等主流一线模型。
“单人打造基础模型”的时代,真的来临了吗……?
01
据官方介绍,Mirendil-Base是Mirendil系列模型的首发产品,定位为编码专用基座模型,目标用户是前沿AI实验室内部的研究员和工程师。
为验证单人能否独立完成模型开发,Mirendil设定了多项严苛条件。例如,不能使用现成的预训练框架,也不能继承现有代码。
研究员与Agent从零开始,在100多天内构建了所有内容——训练基础设施、模型架构、训练算法、数据管道,全部自主编写,仅在PyTorch、JAX等通用库上参考了一些热门开源项目作为样板。
当然,这里的“自主”通常指代Agent。
研究员主要负责决定尝试什么、信任什么,并在必要时进行干预。编写代码、运行实验、诊断错误等具体操作,基本由Agent自主完成。
数据方面,Mirendil全部采用公开数据,如GitHub开源代码、公开网页和公开数据集等。公司强调,训练过程中未购买任何数据,未进行蒸馏,也未使用合成数据。
此外,Mirendil通过改进设计来提升效率。“我们通过改进的架构、数据混合的高级调优,以及其他数据层面的优化,包括kernel优化,获得了显著的效率提升。”公告中写道。
最终成果是Mirendil-Base,参数规模在1000亿至5000亿之间。
单人开发的千亿参数模型,性能究竟如何?
Mirendil选取了五款模型进行对比,分别是Kimi K3、GLM-5.3、Nemotron-550B-Base、DeepSeek-V4-Pro-Base和Inkling,这些均为MoE架构的大参数模型。
在新代码仓库的交叉熵测试(模型预测代码编写方式,分数越低表示预测越准确)中,各模型表现如下:
Kimi K3排名第一,得分0.193;Mirendil-Base位列第二,得分0.222;其后依次是GLM-5.3、DeepSeek-V4和Nemotron。
换句话说,在部分编码维度上,一人与Agent协作训练的预训练模型,已能与头部大厂的成品模型一较高下。
但需指出,基座模型在交叉熵测试中通常优于后训练模型。Mirendil-Base作为基座模型,分数却高于经过后训练的Kimi-K3,这表明Kimi-K3的实际能力远超表面分数,Mirendil-Base与其差距比数据显示的更大。
根据官方介绍,Mirendil-Base之上还有两个版本:Large参数范围在5000亿至2万亿,XL则直接达到2万亿至10万亿。
目前,Large已训练80%,XL仅完成19%,但其分数已接近Large当前水平。
这意味着,在资金和Agent的支持下,单人训练万亿参数模型并非遥不可及——这是许多AI大厂尚未触及的门槛。
02
千亿乃至万亿参数大模型的预训练,极为耗费资金与时间,且需要大量人力投入。
数百名研究员中,一部分研究模型架构与扩展方法;一部分负责处理数万亿token的清洗与配比;还有一部分人维护数千甚至数十万张算力卡,确保训练不中断。
AI大厂能汇聚足够多的人才,但资金与算力成本压力依然巨大。
整个行业一直在探索降本途径,核心思路是:让AI来训练AI。
例如,Anthropic已在这条路上走得很远。
该公司此前披露,今年5月,其代码库中超过80%的合并代码由Claude编写。
谷歌也在进行类似尝试:AI编程智能体AlphaEvolve已被用于优化数据中心调度、芯片设计和AI训练流程。
但“AI训练AI”这一路径,目前仍只有大厂能够驾驭。
科学家、研究员、小团队等,若想自行训练模型,此前几乎不可能。
Mirendil-Base却证明了,在特定条件下,一人也能“手搓”模型。
Mirendil在官网文章中称,直到不久前,预训练一个具竞争力的模型的瓶颈仍是人力:一支需多年才能组建的专家团队。
如今,这一局面正在改变。
过去只有大型研究机构才能完成的任务,现在一名研究员即可实现。当Agent承担了大部分实际操作时,瓶颈转移到了算力、数据,以及指挥Agent的那个人的判断力上。
“人人皆可训练模型”,蕴含着巨大的想象空间。
以往,大多数人和公司如需专属模型,通常租用通用模型,再在边缘进行适配。
现在,一支芯片设计团队、一个机器人实验室,或是一家医院,都可利用自身数据,为自己的问题训练模型。基座模型及其构建的系统,将不再是少数大厂的专属,而会更加普及。
另一方面,过去需大型团队才能启动的AI项目,现在可从小团队甚至个人起步;随着算力日趋廉价和强大,更多人能尝试这些项目。“一人公司”或“超级个体”,有望成为现实。
人们的工作方式也将被改变:随着越来越多的工作交由Agent处理,人类的日常工作将越来越不像“亲力亲为”,而更像“领导一个小型实验室”:设定研究方向、设计值得运行的实验、判断哪些想法值得继续推进。
Mirendil描绘了更令人振奋的前景:下一个模型将部分由Mirendil自己的模型构建,而每一个在构建AI方面变得更强的模型,都将使下一个模型的构建更便宜、更快速。
“我们认为,尚未达到完全自主的RSI,但我们已比以往更接近了。”公司表示。
此外,公司已开始对Mirendil-Base进行后训练。Mirendil-Base-Large以及达到前沿水平的Mirendil-Base-XL仍在训练中。
03
Mirendil的背后,是两位Anthropic前员工:Behnam Neyshabur和Harsh Mehta。
Neyshabur是80后,出生于伊朗并完成大学学业。2011年前往美国,在丰田工业大学芝加哥分校获得博士学位。毕业后,他在谷歌DeepMind工作了5年,2024年底加入Anthropic,领导Discovery团队,专注于研究如何让AI像科学家一样参与研发。
Mehta是印度裔,毕业于印度理工学院古瓦哈提分校,在DeepMind时与Neyshabur是同事。加入Anthropic后,Mehta搭建了Anthropic内部自动化AI研究平台的第一个版本。
2025年12月,两人先后离职,创立了Mirendil,公司定位是让AI帮助科学家打造自己的AI,而不只是直接用AI辅助科学。
换言之,他们希望让科研团队能自行训练、迭代专属AI模型,不再依赖大厂的通用模型。背后的技术路线,正是近期AI圈内热议的RSI。
今年6月,Mirendil宣布完成2亿美元种子轮融资,投后估值10亿美元。投资方包括a16z、凯鹏华盈、英伟达等。
团队目前约20人,均来自Anthropic、xAI、Google DeepMind、OpenAI等机构的研究员和工程师,在旧金山市中心办公。
Mirendil-Base的亮相,标志着公司跨过了第一个里程碑。
但话说回来,“单人训练千亿参数模型”听起来美好,门槛并未显著降低。
1000万美元的成本,对大厂而言不算什么,刚获得融资的Mirendil也尚能承担。但对于绝大多数个人和小团队来说,仍是天文数字。
更不用说,能指挥Agent完成如此宏大任务,并非随便一名工程师就能胜任。Mirendil的人才质量之高、AI项目经验之丰富,在硅谷处于第一梯队。
“一人手搓大模型”的时代确实在靠近,但离普通人还很远。
Mirendil-Base的发布,是这条漫长道路上的第一块路标。 至于它能否真正降低大模型的门槛,还需观察后续更大规模模型的实际表现,以及这套方法论能否被他人复制。
本文来自微信公众号“字母AI”,作者:彦飞,编辑:王靖,36氪经授权发布。更多信息可访问开云网址。
