## 摘要 同一道算法题Dream-RSI 只花 317 次模型调用就跑出了更快的解而固定策略要花 550 次。这篇 arXiv 2026 的论文叫 Dream-RSI: Recursive Self-Improvement through Evolving Worlds它做的事可以用一句话说清把智能体做科学发现时留下的历史记录从一段拿来当提示词的文本改造成一台可以反复回放的模拟器。 智能体于是能在这台模拟器里做梦廉价地试掉大量不同的探索策略再把最好的一版放回线上。在四个领域的九个任务上它用更少的发现算力拿到了相当或更好的结果。 **视频讲解**[点击观看 B 站视频](https://www.bilibili.com/video/BV1BgJh6vEdE) 章节时间轴视频内可跳转 00:43 作者介绍 01:16 研究背景与动机 02:58 相关工作 03:41 方法 04:53 实验设计 05:38 实验结果 07:59 局限性 08:41 要点总结 09:14 参考文献 [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题英文 | Dream-RSI: Recursive Self-Improvement through Evolving Worlds | | 标题中文 | Dream-RSI把发现历史变成可回放世界让智能体在历史里「做梦」 | | 作者 | Tong Zheng, Xidong Wu, Zheng Zhang, Zhankui He, Chaoyi Zhang, Benjamin Coleman, Ruoqiao Wei, Di Bai, Haolin Liu, Rui Liu, Xue Wang, Yue Zhuan, Wang-Cheng Kang, Renkai Xiang, Heng Huang, Xinwu Cheng, Yunsong Guo | | 机构 | Google · Google DeepMind · University of Maryland, College Park · University of Virginia | | 会议 | arXiv 2026预印本 | | arXiv | [2609.14858](https://arxiv.org/abs/2609.14858) | | 项目网站 | [dream-rsi.com](https://dream-rsi.com/) · 代码 [github.com/zhengkid/Dream-RSI](https://github.com/zhengkid/Dream-RSI) | ## 背景与动机自我改进里最贵的一环 近两年的自我改进系统大都在跑同一个循环让模型生成候选解用评测器打分再把反馈喂回下一轮。AlphaEvolve、OpenEvolve、ShinkaEvolve、PACEvolve、MLEvolve 都属于这一类。 问题出在更上层。**探索策略**决定了每一轮把算力花在哪里——先搜哪条分支、几条并行、什么时候停。这条策略多数时候是人手写死的一个启发式从头用到尾不随搜索空间变大而调整。 有人试过在线优化这条策略比如 EvoX。但这条路撞上两堵墙。第一堵是反馈延迟又昂贵要评价一条探索策略好不好你得看它在几十上百轮生成—评测里把探索带到了哪里。第二堵是空间太大值得一试的策略版本非常多一个一个在线跑不现实。 论文里有个很好的类比。想象一个智能体第一次进入陌生环境它乱走、撞墙、折返但顺手画出了一张地图。这张地图可以复用后来的策略能在地图上规划跳过已知的死路比较不同路线而不用再亲自走一遍。 模型强化学习早就用这个思路Dyna 与世界模型在九十年代就确立了先学一个模型、再在模型里想象的范式Dreamer 系列把它做成了可扩展的隐空间方法。这篇论文的迁移在于**一次已完成的智能体发现过程本身就是一张这样的地图**。它是一棵结构化的决策树每个节点记着当时的工作区和真实执行结果。 过去的工作更多是拿历史当上下文或记忆比如 ReasoningBank 与 DeltaEvolve或者拿它当微调数据比如 ThetaEvolve。这篇论文问的是另一个问题历史能构成什么样的**环境**。 ## 研究主线从问题到结论  **图 9Dream-RSI 的研究主线Mermaid 流程图——问题、动机、设计、方法、实验到结论。** ## 设计把历史变成一台可回放的模拟器 在线探索阶段当前的探索策略指挥一个固定的底层 agent 去扩展一棵**发现树**。每个非根节点只有一个主父节点它继承父节点保存的工作区与累积观测生成一次新尝试再由固定评测器打一个分。分数越大越好根节点记 0 分。 关键是那个**共享决策接口**。策略每一轮看到的只有当前这棵树它要选出一批节点继续探索这一批最多 W 个。也就是说一次决策同时决定了两件事往哪条分支上继续以及这一轮并行几个。 在线阶段这批节点真的会被执行。离线阶段同一个接口被拿去在冻结的历史树上走选中的节点直接返回**当时记录下来的子节点**不重新生成、不重新评测。状态转移一个是真实的一个是回放的其余完全一样。 这一个设计换来的东西很值一次昂贵的在线运行可以支撑成千上万次零执行成本的策略评估。下图是整体框架三个框分别是在线探索、模拟器构建与做梦式策略改进。  **图 1Dream-RSI 总览。① 在线探索中当前策略驱动底层 agent 扩展发现树并记录执行轨迹② 发现树被蒸馏为可复用的回放模拟器池③ 同一个 agent 在模拟器里做梦生成并回放大量候选策略用快速低成本反馈选出更好的一版再部署回下一轮。** ## 任务全景四个领域、九个任务  **图 10Dream-RSI 的任务全景Mermaid 分类图——九个任务分布在算法工程、GPU 内核工程、数学优化与 Harness 优化四个领域。** ## 方法细节一次决策同时决定去哪和并发多少 策略改进的裁判是一个**回放目标**。它对每个预算偏好档位扫出一条曲线横轴是这次回放实际揭示的节点数也就是发现 agent 的调用数纵轴是揭示节点里最好的分数按该世界的历史最好分数归一化。 然后取这些点的**非支配前沿**算它的归一化超体积——奖励用更少调用拿到更高质量。再加一项**并行度惩罚**一项是每次调用平均占用的串行轮数——奖励把调用摊到并行上。两项用一个系数 $\lambda$ 配比。 预算偏好 $\rho$ 取 0、0.25、0.5、0.75、1 五档。一次回放就能给出整条质量—成本曲线不必为每个预算单独做一轮昂贵的在线实验。 每个离线阶段评估 M4 个候选策略其中第 0 个就是当前策略本身。一个**策略开发 agent** 读完回放轨迹和分数找出哪些决策成功、哪些反复失败然后改写策略代码生成下一个候选。所有候选在**同一个历史世界池**上评估。 最后是选择新一轮在线用的策略取平均回放分数最高的那个候选。因为当前策略本身总在候选集合里所以有一个简单的保证——新的平均回放分数 $V^{m^\star} \ge V^0$永远不会比旧策略差。真实世界的发现分不会因此下降它只是不再被浪费。 历史世界池会随轮次不断扩张。下面这张图把历史即模拟器讲得更直白每个节点是一次尝试加它的完整观测候选策略要做的只是在这棵树上走一条不同的路。  **图 2发现历史即回放模拟器。一次在线探索把轨迹记录成发现树这棵树随后成为模拟器由于每个节点的结果已存好一次昂贵的在线运行就能换来大量快速、低成本的 off-policy 评估。** 主要超参在这里 | 任务 | 发现模型 | T在线轮数 | W最大并发 | B每轮调用上限 | |---|---|---|---|---| | Lasso | Gemini-3.1-Pro | 5 | 10 | 110 | | Lasso | Gemini-3.7-Flash | 5 | 32 | 640 | | KernelBench4 任务 | Gemini-3.1-Pro | 9 | 10 | 110 | | 数学优化3 任务 | Gemini-3.1-Pro | 10 | 10 | 110 | | Harness 优化 | Claude Opus 4.8 | 9 | 4 | 16 | 注意 B 只是上限。实际用掉多少次调用取决于策略自己怎么分配、什么时候停——而这正是被优化的对象。 ## 实验设计与结果同等质量更少算力 对照实验的设计很干净。主基线叫 Recursive Fixed Exploration它与本文用**同一个发现 agent、同一个评测器、同一个初始化、同样的每轮预算以及同一个起点策略**。唯一的差别是从第二轮开始它的策略固定不动而 Dream-RSI 每轮都用回放更新并重新部署策略。 这样一对比效率差异就只能归因到策略更新本身而不是换了个更强的模型或更多的算力。 ### 算法工程Lasso 正则化路径 任务是在保证数值正确的前提下找出求解完整 Lasso 正则化路径更快的实现。它沿用 SimpleTES 的基准设定用 17 个合成实例做发现另加 6 个留出的真实数据集做下游评测。 | 方法 | 骨干 | Compute调用数 | 平均耗时 (ms) | 相对 | |---|---|---|---|---| | SimpleTES | gpt-oss-120b | 51,200 | 3804.8 | 少 162× | | Recursive Fixed Exploration | Gemini-3.1-Pro | 550 | 3587.1 | 1.00× | | **Dream-RSI** | Gemini-3.1-Pro | **317** | **2931.0** | **1.22×** | | Recursive Fixed Exploration | Gemini-3.7-Flash | 3200 | 2516.7 | 1.00× | | **Dream-RSI** | Gemini-3.7-Flash | **1879** | **2350.6** | 1.07× | | sklearn | -- | -- | 44180.3 | -- | | glmnet | -- | -- | 13767.5 | -- | Gemini-3.1-Pro 骨干下调用数从 550 降到 317六个留出数据集上的平均耗时从 3587.1 毫秒降到 2931.0 毫秒。换成 Gemini-3.7-Flash调用数从 3200 降到 1879平均耗时从 2516.7 降到 2350.6 毫秒。两种骨干都明显快过 sklearn 与 glmnet。 相对 SimpleTES 报告的 51,200 代这两个配置分别少用约 162 倍和 27 倍的发现 agent 调用。论文自己也标注了这几个数字的模型骨干不同只能作参考。  **图 4Lasso 正则化路径发现。(a) 六个留出任务的最终耗时越低越好Compute 为累计发现 agent 调用数(b) 平均耗时随累计发现算力的递归动态标记旁数字为轮次。** ### GPU 内核工程同样快少走几代 四个 KernelBench 任务——VGG16、LayerNorm、ConvDiv、ConvMax——的指标是运行时间的倒数也就是 $1/\mathrm{ms}$越高越快而且必须先通过对照参考实现的数值正确性检查。 | 任务 | 对比口径 | 结果 | |---|---|---| | VGG16 | 达到相当最终性能所需代数 | 少用 2.43× | | LayerNorm | 达到相当最终性能所需代数 | 少用 1.79× | | ConvDiv | 同等发现预算下的性能 | 高 2.09× | | ConvMax | 同等发现预算下的性能 | 高 1.44× | 同预算下Dream-RSI 在两个任务上的性能也高于 PACEvolve后者是一条很强的演化式基线论文把它的最大发现时间限制在两天以保证公平。  **图 3GPU 内核工程结果。VGG16 与 LayerNorm 以少 2.43× / 1.79× 的代达到相当性能ConvDiv 与 ConvMax 在同预算下高 2.09× / 1.44×。**  **图 8PACEvolve 在四个 KernelBench 任务上、48 小时墙钟预算内的历史最优核性能演化性能记为 $1/\mathrm{ms}$越高越快。** ### 数学优化三条经典开放问题 三个任务分别是最小化两个和差比的和差问题、最大化半径之和的圆堆积以及三条自相关不等式。目标方向各不相同和差与圆堆积越大越好自相关越小越好。 | 方法 | 骨干 | Sum–Difference ↑ | Autocorrelation ↓ | Circle Packing ↑ | |---|---|---|---|---| | AlphaEvolveV2 | Gemini-2.0 Pro Flash | 1.121936 | -- | 2.635983 | | EvoX | Gemini-3.0-Pro | -- | 1.458900 | 2.635900 | | SimpleTES | GPT-OSS-120B | 1.143975 | **1.453675** | 2.635983 | | Recursive Fixed Exploration | Gemini-3.1-Pro | 1.144047 | 1.456001 | 2.635983 | | **Dream-RSI** | Gemini-3.1-Pro | **1.145427** | 1.456375 | 2.635983 | Dream-RSI 的和差分 1.145427 优于 SimpleTES 的 1.143975。圆堆积的 2.635983 与已报道的最强结果持平。自相关的 1.456375 保持竞争力但最好成绩仍在 SimpleTES 手里。 ### Harness 优化只改程序外壳不改模型 这个任务的目标是改进模型外面的那层程序信息怎么存、怎么取、怎么在 agent 执行时呈现。起点是 Terminus-Kira 这个种子 harness。每个候选 harness 都要在 Terminal-Bench 2.1 的全部 89 个任务上跑每个任务两次。  **图 5Harness 优化结果。(a) Terminal-Bench 2.1 历史最优分数从种子 harness 的 0.7247 提升到 0.8090(b) 与 Claude CodeCC、Terminus-KiraTK、Meta-HarnessMH的全套对比。** ### 三个追问历史要不要累积、该怎么用、策略怎么变 论文做了三组进一步分析。第一组问历史要不要累积。在 ConvDiv 上用**全部历史**做回放性能是 1.90只用**当前轮**那棵树掉到 1.59。也就是说累积的回放世界能让策略更泛化避免只拟合单一世界而变得过度保守。 第二组问历史该怎么用。把历史抽象成高层方向性提示、直接塞进 prompt对两种方法的最终性能都更低。同一条历史当作可以直接回放的环境有效压缩成一句方向建议反而有害。 第三组看策略自己怎么变。在 ConvDiv 上性能上升时策略先省算力评估尝试数从 110 降到 50进展停滞之后它又加大探索随后性能继续上涨。  **图 6ConvDiv 上的发现结果。把历史回放比把历史当引导更好——显式方向性引导对两种方法的最终性能都更低。**  **图 7ConvDiv 上探索行为的演化。(a) 各递归轮次的最好性能(b) 各轮次实际评估的尝试数——策略先收缩算力、在停滞后再扩张。** ## 结果对比四个领域的方向一致  **图 11四个领域的结果对比总结Mermaid 流程图——每单位算力换到的发现质量更高。** ## 关键发现 - Lasso 上Gemini-3.1-Pro 配置用 317 次调用把平均耗时压到 2931.0 毫秒固定策略用 550 次才到 3587.1 毫秒换 Flash 骨干仍是 1879 对 3200 次调用、2350.6 对 2516.7 毫秒。 - 内核任务上VGG16 与 LayerNorm 分别少用 2.43× 与 1.79× 的代就达到相当性能ConvDiv 与 ConvMax 在同预算下高出 2.09× 与 1.44×。 - 历史累积不是可选项ConvDiv 上用全部历史得 1.90只用当前轮掉到 1.59。 - 用法的差别很关键同一段历史回放有效压成方向性提示反而让两种方法的最终性能都更低。 - Harness 优化在全套 89 个任务、每个两次的评测下把分数从 0.7247 推到 0.8090同设定下高于 Claude Code 的 0.75 与 Meta-Harness 的 0.79。 - 这篇论文的贡献能被隔离测量受控基线只在策略是否更新这一点上与它不同其余全同回放目标又是可以在既有记录上离线复算的。这种设计让它省下了大量算力也让结论更容易被复核。 ## 局限性 - 回放只能在已经记录的节点之间导航。历史里从未出现过的分支永远探不到。模拟器的质量上限就是那一轮在线探索实际覆盖的范围。 - 历史越多回放评估越贵。论文没有给出随轮数增长的收益—成本结算只有用当前轮会掉点这一条消融。 - 受控基线只有一个 Recursive Fixed Exploration。与 SimpleTES、PACEvolve 的比较要么骨干不同、要么评测设定不同只能当作参考。 - 复现门槛不低。主结果依赖 Gemini-3.1-Pro 与 Claude Opus 4.8 级别的底座还需要 L40S、KVM 与 Docker 集群这样的真实执行环境。 - 另外论文源码还留着一些工程痕迹主文件里有三个被注释掉的备选标题、用于边注的彩色编号宏与一个空日期listings、xcolor、pgfplots 也各被重复加载了一次。摘要把结论写成在若干设定下提升效率比正文里 162 倍的强结论保守不少。 ## 常见问题FAQ ### 我要复现大概需要多少算力 这是本文最贵的地方。它不是在单张卡上跑一个训练脚本而是让一个强模型反复生成代码、执行、评测。单次在线探索的规模在几十到几百次 agent 调用之间Lasso 的 Flash 配置把上限设到 640 次。真正的门槛不是显卡而是可用的 agent 底座和一套能跑代码评测的隔离环境。论文里的评测环境是 AMD EPYC 7B12 的 8 核 32 GB 虚拟机、一块 NVIDIA L40S以及一台 96 物理核、708 GiB 内存的 Docker 宿主。 ### 它和 EvoX 这类优化搜索策略的工作差在哪 EvoX 已经把搜索策略本身当作优化对象这一点是共同的。差别在反馈从哪来。EvoX 类方法仍要靠在线的长程 rollout 才知道一条策略好不好而 Dream-RSI 把历史树冻结成模拟器用回放代替 rollout。省下的正是元层最贵的那部分开销。 ### 它和 World Models 有什么关系 关系是方法学上的类比。世界模型从真实交互里学一个动力学模型再在模型里想象着改进策略。Dream-RSI 不做学习它直接把已经跑过的发现历史当成环境因为在代码发现这种场景里每个节点的执行结果本来就被完整记录了下来。它更像一台确定性的回放机而不是一个预测模型。 ### 为什么把历史压成提示词反而更差 因为提示词是单向的信息压缩。历史里的分支结构、并发安排、停在哪里这些都被压成一句方向性建议后就丢了。策略拿不到它做决策真正需要的那部分状态探索反而被这句建议限制住。回放保留的是完整结构。 ### 这个思路能用到别的自我改进层吗? 作者把这条路留给了后续工作。论文里的做法是编排层可编程、底层 agent 不动所以理论上可以接到技能、harness 甚至环境层。前提是那一层同样能留下结构化的、带真实结果的历史记录。 ## 参考链接 - 论文[arXiv:2609.14858 Dream-RSI: Recursive Self-Improvement through Evolving Worlds](https://arxiv.org/abs/2609.14858) - 项目网站[dream-rsi.com](https://dream-rsi.com/) - 代码[github.com/zhengkid/Dream-RSI](https://github.com/zhengkid/Dream-RSI) - 关键基线[EvoX](https://arxiv.org/abs/2609.14858)、[SimpleTES](https://arxiv.org/abs/2609.14858)、[PACEvolve](https://arxiv.org/abs/2609.14858) - 方法学来源[DreamerV3Nature 2025](https://www.nature.com/articles/s41586-025-08744-2) --- 给大家推荐一款自用写文献综述、无虚构文献的 AI **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_sourcebzkolutm_contentbaishi)** 官网[qiewenpaper.com](https://qiewenpaper.com/zh?utm_sourcebzkolutm_contentbaishi) 覆盖 **3.6 亿篇**可溯源真实中英文文献能自动整合文献观点生成规范综述 还能挖掘研究创新点、复现实验配合视频教学新手快速上手文献综述写作 --- **后记** 博客的关键词集中在编程、算法、机器人、人工智能、数学等等持续高质量输出中。 **讨论QQ群**[白拾的小屋](https://qun.qq.com/universal-share/share?ac1authKeySuzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyThbusi_dataeyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3DdatahgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQsvctype4tempidh5_group_info) (750365700) **⭐B站账号**[白拾的物理AI组会](https://space.bilibili.com/98639326)活跃于知识区和动画区 **✨GitHub主页**[YhbCode000](https://github.com/yhbcode000)工程文件