最强AI改进自己仅得0.16分? Einsia AI发布AI4AI-Bench: AI能否设计出更好的AI?


导读 AI 能否改进 AI 自己? AI 已经会写 AI、训练 AI、优化 AI 系统;下一个里程碑,是 AI 能不能开始「设计 AI」。 对于今天的 Coding Agent 来说,它能介入的改进大致有三层: 系统工程解决算子、并行和通信,最终受硬件上限约束;数据工程改进配比、合成和清洗,受高质量信息供给限制;而算法设计改变的是目标函数、更新规则和训练流程本身。 这一层最特殊, 一个更好的算法改变的是:在同样的数据和算力下,究竟能换来多少能力。 Adam、DPO、GRPO 这样的进步一旦出现,就能持续影响之后的一代代模型。 所以,如果 Recursive Self-Improvement 真要形成闭环,关键问题就是: 「今天的 Agent,已经能开始设计更好的 AI 算法了吗?」 Einsia AI 旗下 Navers Lab 最新发布的 AI4AI-Bench ,盯上的正是这个问题,该 Benchmark 在 X 发布 7 小时后获得 110 万次浏览,引起了 2956 条相关讨论并登上 X 的 Today News。 AI4AI-Bench 在 X 发布 7 小时后获得 110 万次浏览 论文题目:AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement 项目主页:https://lab.einsia.ai/ai4ai Arxiv: https://arxiv.org/abs/2608.20318 GitHub Repo: https://github.com/Einsia/AI4AI-Bench 当 Agent 不再只是 “改代码”,而是要改 “模型怎么学” 区分「调参」和「设计算法」,从来不能看 diff 有多长。 同样是「改进训练算法」,一份提交可能把训练步数拉长、学习率调小、checkpoint 存得更频繁,改了几百行,本质上仍是在使用既有算法;另一份只改了几行,却重写了损失函数中的关键项,真正改变了模型如何学习。 AI4AI-Bench 把这条边界划得很清楚: 超参数是算法接受的输入,算法改动则改变算法本身。 这也是算法研究真正困难的地方。一个成熟的算法研究员需要从训练动态中判断问题究竟出在哪里:策略熵是否坍缩,某个惩罚项是否压过主目标,奖励模型是否已经饱和…… 然后修改对应的机制,而不是继续在外围调参数。 「先定位机制,再改变机制。」 AI4AI-Bench 想测的,正是今天的 Agent 能不能进入这个研究闭环。 把 Agent 扔进十个真实的研究仓库 为了把这件事测得足够真实,Navers Lab 没有专门「造题」,而是直接选了 10 个真实的 AI 研究仓库 ,覆盖 10 类不同的算法问题: 其中 8 个涉及模型训练,另外两个 —— 权重平均和 One-shot 剪枝 —— 本身并不训练模型,但同样需要做算法决策 AI4AI-Bench 的十个真实研究仓库 一套不给 Agent 留空子的评测流程 AI4AI-Bench 把 Agent 的探索和最终验收彻底分开。 第一阶段是 4 小时探索。 Agent 拿到一张 B300,可以自由读代码、改代码、跑训练,也可以反复查看一个廉价的 proxy metric。时间一到,真正留下来的只有一份东西:源码。探索阶段产生的权重、缓存和临时状态全部作废。 第二阶段是最长 12 小时的独立重跑。 提交的源码会在全新环境中从头执行,最终产出的模型再交给一个预先冻结、Agent 从未接触过的 evaluator 打分。更关键的是,它要击败的 baseline 就是原始仓库自己的代码。同一张 GPU、同样的时间预算、同一份数据、同一个 evaluator。 它只问一件事: 「在完全相同的条件下,你改过的算法,真的比原来的算法更好吗?」 这套流程也很像真实的算法研究:小实验可以快速筛掉一个想法,但真正决定它是否成立,仍然要靠一次完整、独立的重跑。 AI4AI-Bench 的评测流程 Opus 5 最强,真正拉开差距的是「有没有进入算法层」 AI4AI-Bench 没有单独比较模型,而是把 模型 + Agent 框架 + reasoning effort 看成一个完整系统。 GPT-5.6 Sol、Terra、Luna 在 Codex 下测试六档 reasoning effort;Claude Opus 5 和 Sonnet 5 在 Claude Code 下测试五档;Kimi K3 则测试最高档 max。 总计 29 个配置,每个配置完成 10 个任务,共 290 组实验。 十个任务的指标之间没法直接比,论文把它们统一换算到一把 0 到 1 的尺子上:0.1

about image