用阿里当基座，腾讯混元实现了“小RSI” - 篮球比分

自Hy4 Preview面世以来，其全链路RSI便成为外界关注的焦点，这是腾讯混元首个完全自主参与研发的模型。全链路RSI能显著提升模型性能。

仅过不到两个月，混元的Frontier团队便推出了Terminal-RSI。这次更引人注目：它借助RSI，使模型能超越自身原有架构，掌握原本不具备的能力。

好比一台微波炉，原本只能加热食物。加入Terminal-RSI后，不仅加热效果更好，还能用它来看电视、听音乐、玩游戏。

以Terminal-Bench 4.0为例，这是目前最严格的Agent终端实操基准测试之一。论文所用的基座模型原本无法运行该测试集，得分为0%。

通过Terminal-RSI，该基座模型得分达到19.84%，与GPT-5.6 Terra、Gemini 3.8 Flash持平。

另一个有趣细节是，论文使用的基座模型是Qwen3.8-27B，这使腾讯与阿里在RSI上实现了“联手”。

论文也坦承，这套RSI仅在一个27B模型上运行过，未在更大模型上验证，且仅进行三次评测、没有独立训练种子。因此，它能否应用于Hy4这样的大参数模型，以及是否能实现RSI，目前尚无定论。

Terminal-RSI是什么？

Terminal-RSI训练的是终端Agent。它与普通Agent不同：混元团队提供一个沙盒和一份任务说明，Agent需像工程师一样在命令行中查看仓库、安装依赖、修改代码、运行测试，最终检查沙盒状态是否通过验证。

论文指出，实现RSI通常面临两大难题。

首先是反馈过慢。论文称，整个训练过程中，平均交互回合数在50到117之间波动。第二步就错了，但直到最后才知道结果。

其次是难以细致区分对错。论文提到，验证器中11条检查通过了9条，但这一结果很难在终端判定中体现。

就像打游戏，推掉水晶才算赢。杀一个小兵得一份钱，很多人不推水晶、专刷小兵，刷得不亦乐乎，最后评分也很高。但水晶不掉，就赢不了游戏。

Terminal-RSI的核心目标就是解决这两个问题。

Terminal-RSI的流程是：Base → RSR-1 → RPR-1 → RSR-2 → RPR-2，两个“重写+精炼”循环，基座使用前文提到的Qwen3.8-27B，最终产物名为Terminal-RSI-27B。

第一步RSR仅更新actor，即实际执行任务的策略。

其做法是：模型在不同harness中尝试任务，仅保留通过完整验证的成功轨迹。然后由模型自己充当规划者，将成功过程提炼成一份操作手册。

此时，有一个专门负责审查的Agent，它只看题面和手册，检查格式、产物，以及是否泄漏了验证器答案或标准解。

通过审查后，模型拿着手册在新沙盒中重新执行。只有重做仍通过验证且无泄漏的轨迹才会保留。

最后进行监督微调时，手册和审查对话都会被删除，只留下动作序列。

RSR就像你打游戏开荒，死了八百次，终于有一次通关。然后你把那次通关的录像导出，天天回放，把每一步操作硬背成肌肉记忆。

下次再进副本，手自动就动了，脑子里全是通关时的走位，无需思考。

这就是RSR的本质：把“成功的那一次”提取出来，写成笔记，照着死磕。评分者没变，裁判没变，规则也没变，唯一变数只有正在闯关的你。你抄的是自己的满分卷子。

第二步RPR则是actor和critic一起进行的强化学习（PPO）。

论文强调，重写之后，actor偏好的动作变了，它会遇到的历史也跟着变，原来的critic可能就估不准了。如果直接重置critic，等于丢掉已学到的“什么局面更接近成功”。

但另一方面，如果原样继承而不校准，旧的估计误差会混入优势值中。

比如你练着练着换了套新打法，旧录像就不适用了，需要请一个分析师来帮你分析下一步怎么走才能过关。

但问题在于，分析师脑子里那套数据库还是你旧打法的，现在你的新打法他根本看不懂。

RPR的做法是：你先原地不动，让分析师拿你最近的战绩单独重新训练4轮，让它理解你的新打法和新规则。等分析师适应后，你再与分析师一起上分，边打边调整。也就是所谓的“带着教练一起热身”。

那么结果如何？

Qwen3.8这个只有27B参数的小模型，仅训练两轮，在Terminal-Bench 2.1上的得分从51.7%升至86.5%，在Terminal-Bench 4.0版本上从完全做不出来（0%）升至19.8%，四个测试的平均分从20.7%升至50.6%，翻了一倍多。

Hy Frontier回归混元主线

论文的第一作者有三位，分别是Hy Frontier的实习生杨竣尧和李宗夏，以及位于西雅图的腾讯研究科学家史玉成。

这三人在此前也有合作，论文题为《T1：面向长时程任务的终端智能体强化学习》（T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks）。

这篇论文相当于Terminal-RSI的“前传”，讲述如何用强化学习将一个大模型训练成“会真正在Linux终端里干活”的智能体。

在姚顺雨加入之前，腾讯做基础研究的主力是2016年成立的AI Lab，由姚星牵头筹建，2017年邀请机器学习学者张潼担任首任负责人。

但据《晚点》报道，张潼带着很高期望而来，以为腾讯海量的业务和数据能成为学界无法获取的研究资源，结果进入后数据依然拿不到，研究只能闭门造车，两年后失望离开。

此后，AI Lab负责人换成张正友，2024年6月再换成蒋杰。

混元也是如此，2023年立项时项目组连一块GPU都没有，最后从广告部门抽调了2000张，一半用于预训练、一半用于后训练。

首任负责人是张正友，研究方向是计算机视觉。第二任负责人是蒋杰，长期负责腾讯广告平台的产品技术管理，擅长广告推荐，但几乎没接触过强化学习。

到了2025年中，团队转向打榜。受访者对《晚点》表示，“活照常干，但大家心里都清楚，这么干下去不行”。

直到姚顺雨加入混元，一切才发生转变。在6月的访谈中，姚顺雨提到，今天的AI有三块：Foundation、产品和Frontier，要构建一个均衡的“三角形组织”，因为“在我们今天所做的前沿探索不够多”。

旧的研究机构“离模型太远”，模型团队又“光顾着追榜单”。

姚顺雨的解法是将研究直接搬进模型部门内部。 AI Lab并入大语言模型部，原来的研究员成为其中的Frontier方向，与预训练、后训练、评估、Infra同属一个部门、同一条汇报线。

过去的做法是，研究在AI Lab，产品和模型在别处，两边靠协调沟通。现在的做法是，Frontier与主模型团队放在同一个框里，层级也被压缩成“姚顺雨—方向负责人—研究员/实习生”三层。

Frontier至此不再是一个独立于混元的实验室。7月基础模型部成立后，它又被收进同一个部门，都向姚顺雨汇报。

虽然Frontier理论上“不设KPI、不规定课题”，但这条终端Agent加强化学习的研究线并非“漫无边际式”的研究。

2025年底，腾讯混元开始重点跟进AI编程，姚顺雨因此搭建了一个全集团共用的强化学习基础设施，让各业务能在上面训练自己的模型，再将数据回流给混元。T1和Terminal-RSI所做的，正是终端里的长程任务与强化学习。

再加上Hy 4 Preview本来就强调全链路RSI，因此这次的Terminal-RSI，是Frontier对混元主力产品线的一次补强。

混元的研究和产品，不再分家。

Hy4未来可期

Hy4 Preview的全链路RSI可细分为4个环节：数据策略、训练方法、评估体系、底层算子。前文提到，Terminal-RSI的RSR和RPR，前者对应数据策略这一环，而RPR提升的则偏向训练方法。

Hy4底座再强，终端长时程任务上的“完整成功”轨迹照样稀缺，而RSR能自己给自己制造高质量训练数据，还顺手隔离了benchmark污染。

因此，它对Hy4的意义是：将“偶尔能做对”固化为“稳定会做”，尤其在调试、系统管理这类需要多步推理加工具调用的任务上。

真正的大头在RPR，它几乎完美符合Hy4所有的需求。

前文提到，RPR是“带着教练一起热身”，以适应新环境、新打法、新规则。自姚顺雨进入混元后，模型主打的就是上下文，这也意味着模型经常要面对各种新类型的任务。

很多大模型评分很高，但在实际完成任务上，总是差强人意。

因为骗分本身就是个技术活。OpenAI的报告中曾提到，模型越强，越会“演”。中间步骤、前置条件、中间产物它全都能搞对，一路刷出大量通过的检查点，看着像真干成了，但最后那个关键结果就是不对。

不推掉水晶就赢不了游戏。而姚顺雨又是一个不关注榜单成绩，只在乎模型能否完成任务的人。

2026年1月时，姚顺雨评价DeepSeek，说：“DeepSeek做得比较好的一点是，他们可能没有那么关注榜单的数字。DeepSeek可能会更注重：第一，什么是正确的事情；第二，什么是自己能体验出好或者不好的。”

弱模型想骗分还没那本事，Hy4则是强模型，它要是演起来，只会更像真的，刷出的过程分也更凶。所以这套“成功优先、过程分永远压不过满分”的规则，专治它这种病。