您尚未登录/注册
首页>科技
让AI学会在3D世界里边走边想
科技行者 2026-11-22 01:47:16

你有没有玩过那种蒙眼找东西的游戏?别人把你领进一个陌生房间,摘下眼罩的一瞬间,你只能看到眼前这一小块。想知道房间角落有什么,答案很简单:你得转头,你得走过去看。

现在想象一下,如果有个助手能帮你回答"房间尽头是什么"这种问题,但它从来没有机会转头,也没有机会走近看,它只能靠你给它的那一张照片来猜。这听起来很荒谬,但这恰恰是过去很多3D视觉语言模型的工作方式。

**现状是这样的:大部分研究给AI喂的是"全套资料"**

过去研究3D场景理解的AI模型,走的基本是这样一条路:直接把整个3D扫描结果、完整的点云数据,或者一整段多视角视频,一股脑地塞给模型。模型要做的事情只是在这些信息里找答案,不需要去"看",因为所有该看的东西已经摆在它面前了。

这就好比考试前,老师把整本教材和所有可能考到的章节都提前划好重点发给你,你只需要在里面找答案就行。可现实世界里,没人会提前把所有信息準备好给你。你走进一个房间,想知道走廊尽头有什么,没人会把走廊尽头的照片提前塞到你手里,你得自己走过去看。

**视觉语言模型*:Vision-Language Model,简称VLM,是一类能同时理解图像和文字、并进行推理问答的AI模型。**

这就是本文研究团队提出的核心问题:能不能让AI模型自己决定往哪儿看、往哪儿走,然后再回答问题?他们把这套系统叫做Act3D。

这件事难在哪?三个字:没人教

想让AI学会主动探索,最大的麻烦在于,没有人能提前告诉它"应该往哪走"。如果是下棋或者走迷宫,好歹还有一个明确的最优路径可以模仿。但在一个房间里找一个隐藏的物体,可能有十种不同的探索路线都能找到答案,没有哪一条是"标准答案"。

研究团队给自己设置了一个相当苛刻的规则:整个训练过程中,不告诉模型该去哪个房间角落、不告诉它该转哪个方向,唯一的反馈就是最后答对了还是答错了。

**这就像教一个孩子骑自行车,但你全程闭着眼睛,只有他最后到达终点时才告诉他"这次骑对了"或者"这次摔了"。中间歪歪扭扭的过程,没人纠正,也没人示范具体怎么转弯。如果不这样做会怎样?那就变成了老师手把手扶着车把,孩子永远学不会自己判断什么时候该打方向。研究团队赌的就是,只靠结果反馈,模型也能慢慢摸索出一套靠谱的探索策略。**

这个赌注最后赢了。在六个3D基准测试上,Act3D的平均准确率达到53.2%,比它的基础模型Qwen提升了22个百分点,甚至超过了谷歌的商业模型Gemini 3.6 Flash。更关键的是,它只用了50%到70%更少的输入画面,就做到了这个成绩。

把3D场景变成一个可以互动的游乐场

Act3D最根本的设计理念,是把3D场景从"一份资料"变成了"一个环境"。

**模型每次只能看到一张图片,就像人的眼睛一样,没法同时看到360度全景。它能做的事情,是执行一个动作,比如往前走一米,或者向右转90度,然后环境会给它渲染出一张新的图片作为回应。整个过程从一个固定的起始视角开始,模型需要不断地思考、行动、观察,直到它觉得信息足够了,才给出最终答案。**

这个设计听起来简单,但背后有个很深的考量。为什么不直接给模型看视频或者多视角照片?因为那样的话,模型学到的是"如何在一堆现成素材里挑答案",而不是"该怎么主动获取信息"。这两者是完全不同的能力。

**部分可观测马尔可夫决策过程*:Partially Observable Markov Decision Process,简称POMDP,是一种数学框架,描述的是智能体在只能看到部分环境信息的情况下,如何做决策的问题。**

研究团队把这套交互过程形式化成了一个POMDP。场景本身是固定不变的,但模型看到的只是它当前所在位置拍下来的照片,模型要靠这些局部观测去推断整个场景的样子,然后决定下一步该往哪走。

论文里给出了一个很直观的例子:问题是"走廊尽头是什么"。模型第一眼看到的是桌子和窗帘,它意识到这不是走廊,于是转身。第二次看到的是床,还不是。第三次往右移动,终于看到了走廊和门的边缘。第四次它离墙太近了,画面变得模糊,于是往后退一步重新找角度。第五次,终于看清了走廊尽头有一面带镜子的门,它给出答案:"门"。

这个过程像不像你在陌生城市找一家餐厅?你不会站在原地凭空猜测,你会走两步看看路牌,发现方向不对就折回来,换个方向继续走,直到看清招牌为止。如果你只能靠一张起点照片来猜餐厅在哪,那基本就是瞎蒙。

动作空间的设计:为什么用"相对移动"而不是"绝对坐标"

这里有个技术细节值得展开讲讲,因为它体现了研究团队一个很聪明的选择。

模型要控制虚拟摄像机的移动,有两种办法。一种是"绝对坐标",直接告诉环境"把摄像机放到空间里的某个具体坐标点,朝向另一个坐标点"。另一种是"相对移动",就是"往前走一米"、"向右转30度"这种基于当前位置的指令。

研究团队选择了后者,实验结果也证实了这个选择是对的:相对动作的准确率是41.4%,绝对坐标只有36.7%,差了将近5个百分点。

为什么会有这么大差距?因为绝对坐标要求模型理解一个它根本看不到的全局坐标系,而且这个坐标系在每个场景里的尺度都不一样。这就好比让你在一个完全陌生的城市,别人不告诉你任何参照物,直接要求你说出自己此刻所在的经纬度坐标,你怎么可能说得出来?但如果换成"往前走100米,再右转",哪怕你完全不知道自己的经纬度,你也能照着做。相对移动的好处就在这里,它和摄像机本身的视角绑定,不需要模型凭空理解一个抽象的全局参照系统。

两阶段训练:先学会走路,再学会思考该往哪走

既然没有人教模型具体该怎么探索,那模型最开始连基本的"看图片、发指令、看新图片"这套交互协议都不懂,怎么办?

研究团队采用了两阶段训练法。第一阶段叫做轨迹监督微调,他们用GPT-5.4这个更强的模型生成了一批示范轨迹,一共5712条,涵盖830个场景、20603张渲染图片。这些示范轨迹的作用,不是告诉模型"必须这样走",而是先让模型熟悉这套游戏规则:看到图片之后该怎么表达思考,该怎么调用移动指令,该怎么最终给出答案。

**这个阶段就像教孩子学骑自行车之前,先让他坐在车上,熟悉脚踏板在哪、把手怎么转,哪怕他还不太会平衡。如果跳过这一步直接让他自己上路骑,结果会怎样?论文里做了这个对比实验:完全跳过第一阶段、直接上强化学习,经过80步训练后,准确率只能到34.8%到37.9%,而且模型平均每轮只执行1次互动,说明它根本还没学会灵活移动。即便训练步数拉长到470步,准确率也只到41.4%,互动次数也只提升到2次。而经过第一阶段预热之后再进行强化学习,互动次数能提升到8.7次,准确率也更高,达到42.7%。**

第二阶段才是重头戏,强化学习。这个阶段模型不再被告诉"该怎么走",只有一个奖励信号告诉它"最后答对了没有"。研究团队用的算法叫GRPO。

**群体相对策略优化*:Group Relative Policy Optimization,简称GRPO,是一种强化学习算法,核心思路是让模型针对同一个问题生成多条不同的尝试路径,然后比较这些路径的表现好坏,给表现相对更好的路径更多的学习权重。**

具体来说,面对同一个问题和同一个起始画面,模型会生成8条不同的探索路径,因为每一步的动作选择不同,这8条路径最终看到的画面也会完全不同。研究团队再比较这8条路径里哪些答对了、哪些答错了,表现相对更好的路径会被加强,相对更差的会被削弱。

这就像公司里8个员工拿到同一个任务,各自用不同的方法去解决,最后老板只看谁的方案效果好,然后把好方案的做法推广开。没有人提前告诉这8个员工"标准流程是什么",但通过比较结果,好的做法会慢慢被筛选出来。

奖励函数里的小心思:只为"真正看到了"的信息买单

这里有个设计细节特别值得说一说,它体现了研究团队对"探索"这件事的深刻理解。

模型的最终奖励由三部分构成:答案是否正确、是否进行了有效互动、输出格式是否规范。听起来很直白,但互动奖励这块藏着一个巧妙的机关。

**如果只是单纯奖励"互动次数越多越好",模型很可能会学会一个偷懒的策略:反正多走几步就有奖励,那就瞎走呗,走够步数就行,不管是不是真的找到了有用信息。这就好比公司规定"开会时间越长绩效越好",员工很快就会学会开长会摸鱼,而不是真正提高开会效率。**

研究团队的解决办法是,设置了一个"接地验证"机制:只有当答案最终判断正确,并且在整个探索过程中确实有某一帧画面真实地拍到了问题里提到的那个物体,模型才能拿到互动奖励里的最高档;如果答案正确但从没真正"看到"过那个物体,奖励就按实际互动步数来算,有上限。

这个设计的意思很明确,论文原文说得很直接:"为证据付费,而不是为'看起来在找'付费"。一旦模型真的找到了需要的那一帧,再多走也不会多拿奖励。

实验数据:从哪些角度看Act3D确实厉害

研究团队在六个基准数据集上做了系统评测,包括ScanQA、SQA3D、SPBench-SI、SPBench-MV、MP3D和ARKitScenes,覆盖了从单房间问答到跨场景空间推理的多种任务类型。

| 模型类别 | 代表模型 | 平均准确率 |

|---|---|---|

| 被动感知方法 | Ross3D | 50.7% |

| 主动交互方法(商业) | Gemini 3.6 Flash | 52.2% |

| 主动交互方法(本文) | Act3D(混合数据训练) | **53.2%** |

Act3D用混合数据训练出来的版本,平均准确率达到53.2%,是所有对比方法里最高的,比它自己的监督微调初始版本还要高出4.6个百分点,其中ARKitScenes这个数据集上的提升尤其明显,达到14.1个百分点。

更让人在意的是泛化能力。研究团队专门做了一个实验,只用ScanQA这一个数据集训练强化学习阶段,结果发现模型在完全没训练过的其他五个数据集上,平均准确率依然提升了2.1个百分点,在MP3D上甚至提升了6个百分点。这说明模型学到的不是"针对某个数据集的死记硬背",而是某种更通用的探索和推理能力。

探索行为是如何随着训练"长出来"的

这部分实验结果可能是全文最有意思的地方。

研究团队把ScanQA的验证问题按照"需要多少次移动才能靠近答案物体"分了组,从1次到7次以上,分别统计SFT阶段和RL阶段带来的准确率提升。

结果显示一个清晰的规律:对于起始视角就能直接看到答案的问题,整个训练流程只带来0.6个百分点的提升;而对于需要7次以上移动才能靠近目标的问题,提升幅度高达16.3个百分点,其中RL阶段单独贡献了10.9个百分点。

这个数字告诉我们一件很朴素的事情:当答案本来就摆在眼前,探索能力再强也没用,但当答案被藏起来、需要主动寻找时,探索能力的价值才真正显现出来。这就像考试,如果题目答案就写在题干里,学霸和普通学生的差距不会很大,但如果是一道需要翻遍整本参考书才能找到线索的难题,这时候"知道该去哪找"的能力才是真正拉开分数的关键。

论文还通过训练过程的曲线展示了这种变化:在ScanQA单独训练的设定下,随着强化学习步数增加,平均互动次数从大约3.3次逐渐涨到8.3次,模型变得越来越"愿意多看几眼"。但这种增加不是盲目的,论文的定性分析展示了几种清晰的模式。

**当目标物体一开始被遮挡或者不在视野内,模型会主动转换视角去寻找它。当目标物体已经清晰可见时,模型只做简单确认就给出答案,不做多余的探索。对于需要比较多个物体关系的问题,比如"床头柜在床的哪一侧",模型会主动获取多个互补视角来综合判断。**

论文里举的一个例子很生动,问题是"办公椅是什么颜色",模型先往左移动,看到前景的椅子,判断这就是带轮子的办公椅,然后再向左转一下,确认桌面的颜色。整个过程没有一步是多余的,但也没有草率地在第一帧就给出答案。

渲染还是检索:一个容易被忽视但很关键的工程选择

论文还做了一个很实际的对比实验,渲染图像和检索最近的真实照片,哪个效果更好。

直觉上,真实照片的画质肯定更好,渲染出来的图像或多或少有点"假"。但研究团队发现,如果让模型发出一个"向左移动0.56米"的指令,然后系统用数据集里离这个位置最近的真实照片来代替渲染结果,这张照片和模型实际请求的视角之间往往存在明显偏差,论文给出的数据是偏差可以达到1.96米、24度角度偏移。

**结果是,渲染方法在全部13个评测节点上都稳定超过真实图像检索方法,平均高出10.6个百分点。这个结果说明,动作和观察之间的一致性,比画面本身的清晰度更重要。如果模型发出"往左走一步"的指令,结果看到的画面和这个动作完全不匹配,那模型学到的"动作-观察"对应关系就是错的,哪怕每张图片单独看起来都很清晰。这就像你在健身房跟着镜子调整动作,如果镜子是歪的,哪怕镜子再高清,你调整出来的姿势也是错的。**

从哪里来,往哪里去

这篇论文所处的研究脉络里,有两条线值得单独提一下。

一条是3D视觉语言模型这条主线,比较早的工作像3D-LLM,直接把点云或者网格顶点塞给模型处理,后续的LL3DA、3D-VisTA等工作延续了这个思路,把3D数据结构化之后喂给语言模型。再往后发展,Video-3D LLM和Ross3D这类工作开始尝试用视频加上深度、位姿信息的组合输入,试图在保留更多3D信息的同时降低处理难度。Act3D和这些工作最大的不同在于,它不把3D表示直接交给模型,而是把3D场景留在模型外部,当作一个只能通过互动来访问的环境。

另一条线是具身问答和主动探索相关的研究。更早的EmbodiedQA提出了"通过导航来回答问题"这个框架,后来OpenEQA把这个思路扩展到了开放词汇的评测场景。和Act3D同时期还有一些探索视角选择的工作,比如训练自由的Chain-of-View方法,通过粗到细的离散相机动作接口来选视角,还有赋予模型3D重建工具并用强化学习优化工具使用的Think3D。Act3D的不同之处在于,它把"探索该怎么走"这件事完全交给结果驱动的强化学习来学习,不设计任何中间的视角选择规则。

写在后面

读完这篇论文,让我印象最深的其实不是最终那53.2%的准确率数字,而是那个关于"互动奖励"的设计细节,只有真正拍到目标物体,才给满额奖励。这个看起来不起眼的机制设计,恰恰是整篇论文能够避免"模型学会瞎走来骗奖励"这个陷阱的关键。很多强化学习系统的失败,往往不是因为算法本身不work,而是因为奖励函数设计留了漏洞,模型找到了捷径。这提醒我,设计激励机制这件事,无论是训练AI还是管理团队,核心难点永远是怎么防止"优化目标"和"真实目标"之间出现偏差。

还有一个细节值得单独说一说。论文里提到完全不做监督微调、直接上强化学习的那组实验,模型训练很久之后互动次数依然只有2次左右,远远低于有监督微调预热之后的8.7次。这说明有些能力的学习是有门槛的,没有一个基本的行为起点,纯粹靠奖励信号去塑造行为,效率会非常低。这个现象让我想到小孩学说话,光靠大人点头或摇头给反馈,孩子很难自己凑出完整的句子,但如果先教会他一些基本词汇和语法结构,后续的反馈就能真正发挥作用。

这篇论文也留了一些没有完全解决的问题。比如论文自己提到,加入"按互动次数给奖励"这个额外机制后,确实提升了跨领域泛化能力,但同时轻微降低了训练领域内的准确率。这说明鼓励探索和保证效率之间存在一个还没找到完美平衡点的权衡,鼓励模型多看会让它见识更广,但也可能让它在本来一眼就能看出答案的简单问题上多走冤枉路。这个权衡要怎么调,可能不存在一个固定答案,而是要看具体任务对"稳妥"和"全面"的偏好。

一个AI正站在一个它从未见过的房间里,手里只有一张起始画面,没有地图,没有标注,也没有人告诉它答案藏在哪个角落。它要靠自己判断,下一步该往左走还是该转身回头。这个画面想想还挺有意思的。

Q&A

Q1:Act3D是什么?

A:Act3D是一种让视觉语言模型在3D场景里主动探索的方法,模型每次只能看到一张图片,需要通过发出移动指令获取新画面,再结合思考逐步找到答案,而不是一次性拿到完整的3D场景信息。

Q2:Act3D的训练过程不告诉模型该往哪走,它是怎么学会探索的?

A:研究团队采用两阶段训练,先用示范轨迹让模型熟悉基本的互动协议,再用强化学习只根据最终答案是否正确来给奖励,模型通过反复尝试不同路径、比较结果好坏,自己摸索出有效的探索策略。

Q3:Act3D的表现到底有多好?

A:在六个3D推理基准测试上,Act3D平均准确率达到53.2%,比基础模型提升22个百分点,超过了谷歌的Gemini 3.6 Flash,而且用的输入画面数量比其他开源方法少50%到70%。

【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-21 19:04:39


(第1/1页/共8136字/1阅)
首页>科技
相关科技:
苹果据报开发本地AI模型运行应用 韩国金融业安全“守门人”遭黑客攻破 | 环球市场
苹果iPad mini 8电池容量4900mAh略低于上一代5034mAh,机身比前代薄15%且更轻
预测平台显示,英伟达数据中心部门负责人、CFO接任CEO概率最高
半导体及存储等零部件成本持续上涨,大疆部分产品11月18日起上调售价
美国红利退潮,马斯克:我爱中国
*三两仙友,论道炼丹,开帮立派,星火传承
网友评论:
更多评论(0)
您的评论:

[热点科技]
黄仁勋辞职后:亲友齐聚旧金山豪宅 点炸鸡外卖
存量周期下家居企业跨界谋增长
环球下周看点:英伟达迎财报日大考 Anthropic、GTA VI同日上市
杀疯了的恋陪剧本杀
大闸蟹跌到5元一只,为何还是卖不动
[精彩推荐]
又一场“天价豪赌”来了
古人用尿和海螺染出来的贵族紫,我们在家复刻成功了
35岁浙江女子备孕10年未怀上,子宫内竟长出“骨头”,医生:这种罕见病隐匿性强,极易漏诊
喧嚣反转!2026广州车展大变局新势力集体进入静默期
APEC效应给文旅产业带来什么启示?对话中国人民大学宋洋洋