您尚未登录/注册
首页>科技
机器人边执行边思考!具身运行框架REA打通Agent与VLA异步协作
智猩猩 2026-11-15 13:42:30
智猩猩AI整理
论文作者投稿

近日,新加坡国立大学、InfRec Cardinal AI Lab、UCB 等机构的研究者提出具身运行框架 REA,将 Agent、视觉—语言—动作模型(VLA)与代码策略接入同一套调度流程。 



大模型可以理解任务、规划步骤,快速策略可以连续完成动作。但把两者放在一起,机器人不一定就能既想得清楚、又动得顺畅。


如果每执行一段动作就等大脑决策,推理延迟会拖慢控制;如果只在程序报错时求助,又可能错过那些程序正常结束、任务却没有完成的情况。


REA 把交接时机放在了中心:让大脑提前准备、在后台思考,在合适的策略边界参与决策。


在 LIBERO-Pro 的 3,000 次测试中,基于路由记忆的 REA 达到 95.9% 成功率,相比最强单一方法,每次成功所需控制步数减少约 25%,单次任务控制时间减少约 17%。这套运行框架也进入了 Unitree G1 和 AlohaMini2 真机。


01

大脑在后台思考,

动作可以继续执行


把机器人比作大小脑协作系统,问题很容易理解:大脑擅长处理复杂目标,小脑擅长快速执行,但两者的工作频率并不相同。


论文中的阻塞式 advisor 平均每个任务只调用 1.7 次,机器人仍有 2.62 秒在等大脑,占控制时间的 20%。调用不频繁,也可能形成明显的等待。


REA 在两者之间加入路由器 Router,将系统分成推理、调度和执行三层。


System 2 负责推理,可以提前生成候选策略,也可以在线分析观察、给出建议。System 1 负责选策略、切换和停止。System 0 则保留 VLA、代码程序或全身控制器各自的执行方式。


 

三层在约定好的策略边界交接。这个边界可以是一段 VLA 动作块结束、一段运动区间结束,或一次程序返回。


同步模式在策略返回后做判断;异步模式让大脑推理与动作执行并行。新建议准备好后,再由 Router 在下一个边界应用。


正在执行的策略,不必停下来等待大脑。推理可以帮助后续行动,动作也能维持自己的节奏。不同小脑由此能够通过同一套交接机制协作。


02

会选策略,

还要知道任务做成没有    


Router 首先要回答的是,当前任务交给谁。REA 提前记录各候选在独立开发集上的成功率与平均步数,形成路由记忆。


执行时优先选择成功率更高的策略;成功率相同,再选步数更少的策略。这样,开发阶段积累的经验可以直接参与调度。


这利用了一个常被总分掩盖的事实:平均成绩最好的方法,也未必最擅长每一个任务。把各自擅长的任务交给不同策略,已有能力就可能得到更充分的利用。


选完以后,还需要判断任务是否真的完成。


例如打开炉灶,机械臂伸出、转动、收回,程序正常结束,旋钮却仍然关闭。在 ASPIRE 策略池的 590 次测试中,异常触发路由只升级了 6 次,实际失败却有 166 次。


REA 为此在策略返回后引入视觉 Judge,比较任务开始时与当前的画面。判断完成,Router 就停止;判断未完成,则从当前状态继续尝试下一段候选策略。


恢复过程共用同一份时间和控制步数预算。已经完成的任务可以及时停下,没有完成的任务则获得换一种办法的机会。


路由记忆解决“选谁执行”,视觉判断解决“是否继续”。两者分别利用已有经验和当前结果,让调度有了更具体的依据。


03

成功率达到95.9%,

VLA 与代码还能搭配使用


研究团队先在 LIBERO-Pro 的 60 个任务上测试,每个任务使用 50 个测试种子,共 3,000 次。


REA-M 使用路由记忆选择策略,REA-A 则在线询问 Agent,两者都采用异常触发恢复。


REA-M 将成功率从策略池内最强单一方法的 94.7% 提高到 95.9%,每次成功所需步数从 1,343 降到 1,003。相对这一基线,单次任务控制时间减少约 17%。


 

更有意思的是,不进行在线大脑调用的 REA-M,与 REA-A 达到了相同的 95.9%。


控制时间却从 REA-A 的 11.36 秒降至 9.96 秒。对这组策略库而言,已有经验足以支撑有效选择。


视觉判断的作用在另一组 ASPIRE 策略实验中体现出来:单一 Fix 策略成功率为 66.3%,加入路由记忆与异常触发恢复后为 71.9%,再由视觉判断控制恢复,达到 74.9%。


发现静默失败带来了额外收益,每次成功的墙钟时间也增至异常触发方案的约 2.1 倍。是否调用判断,因而与当前策略库容易出现什么失败有关。


在 RoboTwin 2.0 的独立实验中,研究者进一步把七种 VLA 与代码策略放进共同候选池,在 50 个任务、100 个场景上比较。


这里的选择器读取初始指令、图像和机器人状态,在任务开始时选定策略,整次执行保持不变。多 VLA 路由成功率为 84%,加入代码后提高到 86%,在随机化场景多完成两个任务。


真机上,调度对应的是更具体的动作。Unitree G1 需要走到椅子前并推动它,各方法使用相同模型和底层动作,每种测试 10 次。REA 完成 8 次,Agents SDK、Codex 和 ASPIRE 分别完成 5 次、4 次和 2 次。


AlohaMini2 的方块入盒任务要求放下物体后,夹爪撤回,方块仍在盒内保持稳定。四种 Agent 方法各测试 10 次,REA 完成 10/10;每次允许最多三次抓取尝试,没有固定总时间上限。



另一项独立控制器实验中,REA 在 π0.5 与 Code 之间异步路由,完成次数由 π0.5 单独运行的 3/10 提高到 8/10。两组均有两次抓取失败,放置失败则由五次降为零。


Code 在十次 REA 测试中的五次实际执行,帮助机器人完成了任务后半段。该对照的两组采集于不同日期,REA 平均活跃时间为 128.89 秒,π0.5 为 16.57 秒,组合控制也使用了更多执行时间。


04

让已有能力,

在合适的时刻接上手


REA 展示了大小脑协作中的几种具体分工:经验足够时,快速查询支持选择;出现静默失败时,视觉判断补上结果信息;VLA 与代码各有所长时,统一调度让它们共同完成任务。


机器人能完成什么,既取决于单个策略的能力,也取决于系统何时调用它、何时换一种办法,以及何时确认已经做成。


这套运行框架把这些问题放进了同一个可实现、可比较的流程。研究者可以接入不同 Agent、VLA 与程序策略,继续考察哪些判断值得交给大脑,哪些动作可以持续执行。


当慢速推理能够在合适的边界接上快速控制,机器人就有机会把理解任务与连续行动更好地结合起来。


【版权声明】本文内容来源于智猩猩,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-13 08:01:08


(第1/1页/共29044字/1阅)
首页>科技
相关科技:
进博会参展商:目前最具商业潜力的场景可能还在工业领域
奥特曼称最怕被“应声虫”包围:权力越大越难听到真话,也越需要有人反驳你
优必选与沐曦股份合资芯片公司获5亿元融资,对标英伟达胜算几何?
马斯克身家大跌6000亿,首次回应得州新当选民主党参议员
DeepSeek Harness成了第一个让我上瘾的Agent
*家园合伙人招募计划
网友评论:
更多评论(0)
您的评论:

[热点科技]
“双11”萨洛蒙等品牌成交破亿 户外运动企业掘金细分赛道
贵州银行37亿签约酒企,上市六年首次“补血”与个贷不良承压交织
高盛称AI债务供给压力正在信用市场累积
进博观察丨葡萄酒“白进红退”趋势延续,酒商发力日常消费场景
瑞幸凭什么绝地反攻了
[精彩推荐]
0.01分赢下保研,第二天就被室友举报了
越南拟推出新的签证措施,以吸引高消费国际游客,进一步促进旅游业发展
砸下1亿英镑,英国脱欧边检站成了摆设
逛超市大变天:超市自家货值得买吗?
磁带不是早就“死”了吗,怎么突然打赢复活赛了