你折一只纸船，折错了一步，会怎样？

如果你是按照一本图文手册在折，手册不会知道你折错了。它只会告诉你下一步该怎么做，不管你上一步做得对不对。结果往往是，你折出来的东西越来越偏离纸船的样子，到最后你自己都看不出哪一步出了问题。

这正是现在大多数视频生成模型面对"教程类"任务时的处境。

你给它一张初始图片，一句"一步步教我做蛋炒饭"的指令,它就会按照这句话一口气生成一整段视频,中间完全不会看一眼自己生成的画面是不是对的。如果某一步生成得不对,后面所有的内容都会在错误的基础上继续走下去,而且模型也不知道什么时候该停。这就是论文里说的开环生成,整个生成过程像是设定好了终点和路线的自动导航,中途不会看路况。

**这篇来自穆罕默德·本·扎耶德人工智能大学的论文,想解决的就是这个问题。**

他们管这个新系统叫WorldGuide,核心想法说起来挺朴素,就是让模型一边生成一边看着自己生成的东西,然后决定下一步该干什么,什么时候该停下。

这件事到底难在哪

在WorldGuide出现之前,其实已经有一些团队尝试过给视频生成加"反馈"。

比如ORCA、CollabVR、NovaPlan这几个工作,它们的做法是用一个视觉语言模型做规划者,负责看图说话、决定下一步动作,然后交给一个已经训练好的、固定不变的视频生成器去执行。

视觉语言模型:能同时理解图像和文本的人工智能模型,可以看懂一张图片并用语言描述它,或者根据图片和文字指令做出判断。

这个设计听起来挺合理,规划的归规划,执行的归执行,专业分工。但问题就出在这个"固定不变"上。规划者说"把纸对角线再折一次",可执行器从来没有专门学过怎么把这句话精确对应到视频画面里,它只是被动接受指令然后尽力生成。规划说得再准确,执行跟不上也是白搭。论文里管这个叫规划和执行之间的鸿沟,一个正确的计划仍然可能因为执行失败而落空。

还有一个叫SPIRAL的工作,换了个思路,用一个额外训练的评判模型去打分,告诉生成器生成得好不好,但这个评判信号是间接的,并没有直接教会执行器怎么把一个具体动作做对。

论文作者的思路很直接:既然执行是整个链条里最容易掉链子的环节,那就应该把执行者也纳入训练,让它和规划者学习同一批数据,确保规划者说出来的每一个动作,执行者都真的学过怎么做。

这就好比一个餐厅的点菜员和厨师如果从来没有一起培训过,点菜员说"加九成辣",厨师根本不知道九成辣具体放多少辣椒,只能凭感觉做。如果点菜员和厨师是同一个培训体系出来的,对"九成辣"有共同的理解和训练过的手感,这道菜才可能真的做对。如果不这样做,再精确的点单语言也只是一串没有落地能力的文字。

WorldGuide怎么运作

WorldGuide由两个核心模块组成,一个叫ContextPlanner(情境规划器),一个叫Executor(执行器)。

整个过程是一个循环:给定一张初始图片和一个任务目标,比如"做一个纸飞机",规划器先看一眼当前的画面,决定下一步该做什么动作,比如"把纸对折一次"。这句话会被转换成一段嵌入向量,交给执行器,执行器根据这个动作描述和当前画面,生成一小段对应的视频片段。

嵌入向量:把一段文字或一张图片转换成一串数字,这串数字能被模型理解和计算,相当于机器看懂语言和图像的方式。

生成完这一小段视频之后,规划器会再看一眼刚生成出来的画面,判断这一步是不是真的完成了,然后决定下一步该做什么,或者判断整个任务已经做完,输出一个"任务完成"的信号,整个循环就停下来。

这两个模块不是凭空设计出来的,它们分别从Qwen2.5-VL-7B和HunyuanVideo-1.5这两个已有的模型初始化而来,然后用同一批演示数据去训练。

Qwen2.5-VL-7B:一个70亿参数规模的视觉语言模型,能同时理解图片和文字。

HunyuanVideo-1.5:一个83亿参数的视频扩散模型,能根据文字描述生成视频片段。

有意思的是训练的顺序。作者先单独训练规划器,训练好之后把它冻结住,不再更新它的参数,然后用这个冻结的规划器给执行器的训练提供动作的嵌入表示。

为什么要这样做?如果规划器和执行器一起训练,执行器的损失函数会反过来影响规划器的参数,规划器为了让生成更容易,可能会悄悄改变自己输出的语言表达,变得不再像人类能读懂的清晰指令,而是变成某种只有执行器能解码的"暗号"。论文作者把这个叫作保持语言层面的接口。

这就像是两个人合作,一个负责写菜谱,一个负责照着做菜。如果菜谱作者为了让厨师做起来方便,悄悄把"少许盐"改写成只有这个厨师能看懂的代号,别人就再也看不懂这份菜谱了,出了问题也没法诊断到底是菜谱写错了还是厨师做错了。保持语言接口不变,意味着任何时候你都可以把规划器输出的那句话单独拿出来检查,或者换成人工写的标准答案去测试执行器的能力,这是论文里专门拿来做实验用的技巧。

记忆是怎么解决的

长程任务会遇到一个很现实的问题:视频越生成越长,如果每一步都把之前所有的画面都塞给模型做参考,计算量会爆炸式增长。

WorldGuide借鉴了YUME和FramePack这两个已有工作里的思路,设计了一套分层记忆压缩机制。

简单说,就是离现在越近的画面,保留的细节越多、分辨率越高,离现在越久远的画面,就压缩得越粗糙。最近的几帧几乎是原始分辨率保留,稍微久远一点的用更粗的网格表示,非常久远的只保留一个很模糊的轮廓性质的概括。

这套机制保证不管视频生成多长,记忆占用的token数量都有一个上限,大概不超过8个满分辨率帧的等价开销。

这跟人脑记事情其实很像。你记得昨天中午吃了什么,记得上周大概吃了顿火锅,但很难记得三个月前某一天具体吃了什么,只剩下一个模糊的"那段时间好像在吃减肥餐"的印象。如果要求大脑把过去每一天的每一餐都按照昨天的清晰度完整保存下来,这颗脑子早就被撑爆了。分层压缩记忆的意义就在于,用递减的精度换来了可持续运行的能力,代价是久远的细节确实会丢失,这也是论文在后面坦承的一个局限。

实验证明这套记忆机制确实有用,在WorldGuide自己的测试集上提升了5.77%的任务成功率,在另一个叫Video-CraftBench的测试集上提升幅度更大,达到17.91%。

数据集从哪来

要训练这样一个系统,最大的麻烦是找不到合适的训练数据。

现有的教程类视频数据集,比如COIN、YouCook2、CrossTask这些,要么只标注了大致的步骤区间,要么没有明确的任务目标描述,要么压根没有告诉你这个任务什么时候算完成。

于是作者自己动手做了一个新的数据集,叫WorldGuide Bench,包含大约5.9万段视频,覆盖245个具体任务,分布在27个大类里,比如折纸、做饭、搭积木、打结、组装家具。

他们用Gemini 2.5 Flash这个大模型去筛选网络上的教程视频,只保留那些被判定为"完整清晰的分步教程"的视频,大约只有44%的视频通过了筛选。

Gemini 2.5 Flash:谷歌推出的一个多模态大模型,能同时处理文字、图片和视频,这里被用来给视频打分和做标注。

通过筛选的视频会被进一步拆解成一个个原子动作,每个动作标注开始和结束的时间,目标时长控制在1到5秒之间,超过5秒的动作会被继续切分成更细的步骤。最后一步会被标记为任务完成。

为了验证这些自动标注靠不靠谱,作者还专门请了三位人工标注员,从245个任务里各抽一段视频,总共检查了3168个标注的动作步骤。结果显示,动作描述的准确率大概在83%左右,任务标签的准确率在83.7%,动作顺序的准确率在81.6%。这个数字不算完美,但对于一个完全自动化生成的大规模数据集来说,已经算是相当可靠了。

实验结果说明了什么

论文把WorldGuide拿去跟一大堆现有的视频生成模型做对比,包括MiniMax-H3、HunyuanVideo-1.5、Cosmos-Predict2.5、LTX-2.5等十几个模型,还有三个同样走"规划加执行"路线的模型Bernini、PhysAgent、TempAct。

下面这组数据看着挺扎心:在WorldGuide Bench这个测试集上,那些不走闭环路线的模型,是直接拿到了标准答案一样的参考动作序列的,相当于考试前先给了答案;而WorldGuide自己完全靠自己判断下一步该干什么。即便是这样的不公平的局面,WorldGuide的任务成功率还是达到了33.33%,比拿到了参考动作的MiniMax-H3的29.90%还要高。

任务成功率:衡量生成的视频最终是不是真的完成了任务目标,由大模型Gemini充当裁判来打分判断。

在另一个测试集Video-CraftBench上,这次所有模型都是公平竞争,统一只给初始图片和任务目标,没人能看到参考答案。WorldGuide拿到了47.69%的任务成功率,MiniMax-H3只有32.73%,差距进一步拉大。

更能说明问题的是论文做的消融实验,也就是把系统的某个部件拿掉,看成绩会掉多少。

把闭环循环拿掉,换成一次性生成完整动作序列再执行的开环模式,任务成功率直接从33.33%掉到11.71%,几乎腰斩再腰斩。

把规划器看到的视觉反馈拿掉,只让它凭之前请求过的动作文字去判断下一步,任务成功率从33.33%掉到14.72%。

把记忆模块关掉,任务成功率从33.33%掉到27.56%。

这组数字清楚地说明了一件事:规划器光靠"我之前说了什么"是不够的,它必须亲眼看到"实际发生了什么"。这就像你指挥别人装修房子,如果你只凭自己发出去的指令清单判断工程进度,而从不去现场看一眼,你根本不知道工人是把墙刷对了颜色,还是刷错了,或者干脆没刷完就去干别的了。指令本身不会说谎,但它也不会告诉你执行得怎么样,只有亲眼看到结果,你才能判断下一步到底该催促返工还是继续推进。如果不去看,错误会一直悄悄累积,直到最后交房的时候才发现问题,那时候已经来不及了。

论文还做了一个更精细的拆解实验,把规划和执行的误差分开看。如果把WorldGuide自己训练出来的规划器,换成人工写好的标准答案动作序列,同时执行器和记忆模块保持不变,任务成功率能再提升5.49个百分点。这说明规划这一环还有改进空间,但同时也证明了,即便规划器不是完美的,只要执行器足够可靠、记忆机制足够稳固,整个系统依然能跑出不错的成绩。

有意思的是,WorldGuide并没有在所有的视觉质量指标上都拿第一。比如在运动流畅度、动态程度这些纯粹的画面质量维度上,一些专门为视觉效果优化的模型反而分数更高。论文作者也挺坦诚地承认了这一点,他们说WorldGuide更在意的是任务到底完不完成,而不是画面好不好看,这两者之间存在一定的取舍。这倒是让人想起一个挺实际的问题:一个厨师做的菜摆盘不算最精致,但确实按照正确的顺序把所有食材都下锅炒熟了,这盘菜到底算不算合格?论文给出的答案很明确,任务完成比视觉精美更重要。

论文还专门做了一场人类评审,找了四位评审员,对九个模型在十八个任务场景下生成的视频打分,满分五分。结果WorldGuide拿到了2.750分,排第一,MiniMax-H3排第二是2.542分,LTX-2.5排第三是2.472分。这个排名跟大模型自动打分的结果是一致的,算是给整套评测体系上了一道人工背书。

这套系统还有什么没解决的问题

论文作者自己也列出了几个还没搞定的地方。

规划器有时候会过早判断任务完成,或者重复做同一个动作。执行器有时候即便拿到了正确的指令,也没能把动作真正落地,生成出来的画面出现几何形状扭曲或者物体外观发生变化。因为每一段生成出来的视频都会变成下一步决策的依据,一旦某一步出错,这个错误就有可能被带到后面所有的步骤里,而现在的系统还没有办法主动识别"这一步其实没做对,需要重新来一次"。

另外规划器和执行器现在是分开训练的,没有一个统一的、针对任务完成这件事本身的联合优化目标。记忆压缩机制虽然控制住了计算开销,但老旧的画面细节被压缩掉之后,如果后面的步骤恰好需要用到这些细节,系统就没办法找回来了。

作者在论文里提到,未来值得尝试的方向包括让规划器和执行器联合优化,以及设计更有选择性的记忆保留策略,在控制计算开销的同时尽量保住真正重要的信息。

Q&A

Q1：WorldGuide是什么？

A：WorldGuide是穆罕默德·本·扎耶德人工智能大学提出的一套视频生成系统,它能根据一张初始图片和一个任务目标,一边生成教程视频一边判断下一步该做什么动作,并且能自己识别任务是否完成,不需要事先给定完整的动作脚本。

Q2：WorldGuide和普通的视频生成模型有什么区别？

A：普通视频生成模型是开环的,拿到指令后一口气生成到底,不会检查中途是否出错,也不知道该在哪里停。WorldGuide是闭环的,规划模块会实时看着已经生成的画面决定下一步动作,并且能主动判断任务何时完成,官方测试显示这种方式比开环模式的任务成功率高出21.62个百分点。

Q3：WorldGuide Bench是什么？

A：WorldGuide Bench是论文作者自己构建的训练和测试数据集,包含约5.9万段视频,覆盖245个具体任务和27个大类,每个视频都被拆解成带时间标注的原子动作,并且明确标出任务完成的时刻,用来训练和评估闭环视频生成系统。