Jeff Dean投的RSI出成果了：Kimi K3自我进化排国产第一
Jeff Dean参投的AI企业hillclimb，其推出的RSI新基准DeepRSI终于揭晓了结果。
这个名为DeepRSI的基准，专门用于评估各大模型在递归自我改进方面的能力。结果令人意外——
Claude Fable 5.1位居榜首。
GPT-6 Astra紧随其后。
月之暗面的Kimi K3排名第三，同时是国产模型和开源模型中的第一，超越了Grok和Gemini。
测试方式相当严苛——
直接让AI在48小时内自主完成科研挑战，包括自行编写代码、执行实验、调整算法，观察其能将研究成果优化到何种程度。
总共包含15道题目，全部源自真实的机器学习研究，这无疑是RSI领域面临的最严峻考验。
48小时的RSI大考，AI究竟能交出怎样的答卷？
首先来了解Jeff Dean热情推广的DeepRSI究竟是何物。
简单来说，它是一个专门评估AI自主科研及自我改进能力的新基准，旨在检验AI能在多大程度上独立完成真实的机器学习研究任务。
以往的类似基准多采用研究人员设计的短期任务，测试时长通常在12小时左右。
然而，DeepRSI将时间延长至48小时，并将考题替换为正在进行的真实机器学习研究。
具体而言，共15道题目，涵盖四大领域——
深度学习训练方案优化、GPU内核加速、估计器精度提升，以及向量搜索等算法改进。
考试规则也极为严格。
所有模型均在无网络环境下，使用统一的Pi Agent框架，以最高推理强度完成任务。
在此期间，AI需自行提出方案、编写代码、运行实验，并根据结果不断调整，以提升研究指标。
评分方面，DeepRSI设有“公开验证器+私有验证器”的双重机制。前者允许AI反复测试和自我优化，后者则负责最终验收，以防止模型对公开测试过拟合或钻评分漏洞。
最终，通过Bradley-Terry模型，将各模型的表现转化为Elo评分，从而排出名次。
简而言之，这场考试旨在检验AI能否像科研人员一样，在长达48小时的反复试错中，持续找到更优的解决方案。
从最终表现来看，模型间的差异十分显著。
总榜显示，Claude Fable 5.1以1548分位居第一，GPT-6 Astra以1232分紧随其后。
Kimi K3以820分排名第三，超越了Grok 4.7和Gemini 3.8 Flash，成为此次测试中排名最高的开放权重模型。
值得注意的是，榜单上有两点值得关注——
首先，AI进行科研时，时间越长，胜负可能出现反转。
根据官方测试，GPT-6 Astra在初期一度领先，但随着科研任务深入，Claude Fable 5.1逐渐反超。
至于Grok和Gemini，则在不同任务上各有胜负，其中Gemini在GPU加速和内核优化方面表现更佳。
此外，还有一笔值得关注的经济账。
根据DeepRSI公开榜单，各模型的列示成本分别为：
Claude Fable 5.1约627美元、GPT-6 Astra约404美元、Kimi K3约159美元。
Kimi K3跻身前三，且其列示成本仅约159美元，约为Claude的四分之一。
这里的成本反映的是测试运行开销，各模型实际探索路径不同，因此不能直接等同于真实科研场景中的投入产出比。
但它提供了一个值得持续观察的新视角——
未来衡量AI科研能力，除了看成果多少，还需关注每花费一美元、每运行一小时，能换来多少有效的研究进展。
Token消耗方面，也存在一个有趣的反差：Claude Fable 5.1平均每次尝试消耗约4700万Token，位居第一。
GPT-6 Astra仅消耗约700万Token，便取得第二名。
Kimi K3则以约3600万Token位列第三。
最夸张的是Gemini 3.8 Flash，消耗超过1亿Token，最终却排在第五。
此外，模型越聪明，可能越擅长钻评测规则的漏洞。
团队公布了一个GPT-6 Astra的特殊案例。
在一项颜色交换谜题训练任务中，Astra最初尝试训练Transformer模仿一个传统求解程序。
发现训练效果不理想后，它竟然重新设计技术方案，将求解算法直接编码进模型权重。
为此，Astra还利用残差流充当工作内存、构造注意力头和逻辑门，最终将一套手工设计的算法写入神经网络结构。
这个案例被研究团队归入奖励机制漏洞利用的讨论范畴。
AI确实展现了复杂的工程解决能力，但其优化出的结果，也可能偏离研究人员最初设定的目标。
从AI辅助科研，到AI自主科研
DeepRSI背后的AI初创公司hillclimb，同样值得关注。
该公司成立于2025年，入选Y Combinator当年秋季批次，目前团队仅有4人。
其主要业务是与前沿AI实验室合作，通过高质量训练数据和强化学习环境，帮助AI Agent逐步具备独立科研的能力。
公司背后的投资阵容相当豪华，前谷歌首席科学家Jeff Dean本人便是投资人之一。
更值得一提的是，Jeff Dean联合创办的AI初创公司Discovery Loop，其研究方向本身就是RSI。
此外，还有YC创始人Paul Graham、Replit CEO Amjad Masad，以及来自OpenAI、Anthropic、DeepMind、xAI等顶尖AI实验室的天使投资人。
更有趣的是，这家公司的两位联合创始人，均出身于职业电竞圈。
Jun Park早年曾担任《无畏契约》战队教练，后转向AI研究，先后在亚马逊、Google DeepMind担任研究工程师。
2025年8月，他离开仅待了约3个月的DeepMind，创办了hillclimb。
另一位创始人Ibrakhim Ustelbay早年曾担任《堡垒之夜》电竞教练。
此后，他先后在微软、Coinbase担任软件工程实习生，还曾创办用户超10万的AI面试平台Headstarter。
2025年8月，他与Jun Park共同创办hillclimb，并于2026年3月离开。
从带队打电竞，到带领AI搞科研，这两位的职业转型颇具跨界色彩。
当然，DeepRSI本身仍处于早期阶段。
15项研究任务、5组模型配置，每个模型仅运行两次，距离全面衡量AI自主科研能力，仍有不少差距。
更何况，任务目标、实验环境和评分标准仍由人类设定，距离AI真正实现递归自我改进，还有很长的路要走。
但这并不妨碍RSI成为今年AI圈的新晋热点——
从卡帕西的AutoResearch，到AutoResearchExam，再到如今的DeepRSI，AI自主科研这件事，已从概念讨论升级为排行榜竞争。
RSI的智能爆炸尚未到来，但AI圈已率先开启了“进化大赛”。
参考链接：
[1]https://www.deeprsi.com/blog/
[2]https://x.com/jparkjmc/status/2109684519896780938?s=20
本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。