您尚未登录/注册
首页>科技
MTEdit:把四次编辑压进一张画布,让多轮改图不再越改越糊
科技行者 2026-11-21 19:41:43

你用过那种能"一句话改图"的 AI 吧。上传一张照片,打一行字,比如"把背包换成深蓝色",几秒后一张新图出来了,改得还挺准。

第一轮很爽。第二轮也还行。等你连着改到第八轮,事情开始不对劲了。人物的脸慢慢变形,天空里冒出一堆不该有的斑点,草地变成了一团模糊的绿色噪点。你明明每一步都只让它改一个小地方,可它每次都要把整张图重新画一遍,而每一次重画都会悄悄带走一点东西。八次之后,画面就成了另一张照片。

这件事在学术上有个名字,叫视觉质量漂移*。

> 视觉质量漂移(visual-quality drift):在连续多轮编辑中,每一轮都以上一轮生成的图像作为输入并整图重绘,细微的失真、纹理退化和细节丢失被逐轮累积放大,导致最终图像与原始图像在风格和质感上明显偏离。

这不是某个模型的 bug,而是"流水线式重绘"这条技术路线自带的结构性问题。最近一篇来自商汤研究院和港科大 MMLab 等团队的工作,正是冲着它去的。他们给出的答案是:别再一张一张往下滚了,想办法让四次编辑结果在生成的那一刻就同时出现在同一张画布上。

先说清楚:这件事到底难在哪

多轮图像编辑分两种玩法。

第一种叫单步编辑*,你每轮只把"上一张图 + 这一轮的要求"丢给模型,模型不知道前七轮发生过什么。第二种叫上下文感知编辑*,模型能看见整个编辑历史,包括之前所有的文字指令和所有中间图像。

> 单步编辑(step-wise editing):每一轮编辑只依赖上一轮输出图像和当前指令,不显式使用更早的历史信息。

>

> 上下文感知编辑(context-aware editing):模型同时考虑历史文本指令和历史图像状态,在连续上下文中生成目标图像。

听起来第二种更聪明,但真正棘手的恰恰是第一种的训练数据。为什么呢?

因为要训练一个模型做八轮编辑,你得先有一批"八轮编辑的正确示范数据"。而这些数据是怎么来的?业界最常用的办法叫顺序展开*:找一个强大的闭源模型,让它改第一刀,把结果截图,再让它改第二刀,再截图,如此滚八次。

> 顺序展开(sequential rollout):把上一轮生成的图像直接当作下一轮的输入,逐轮调用同一个编辑模型,自动累积出一条多轮编辑轨迹。

问题就出在这个"直接当作下一轮输入"上。每一轮的输入本身已经带了一点瑕疵,模型在这个瑕疵之上再创作,于是瑕疵被当作真实内容继承下来,再叠加新的瑕疵。误差不是线性增长,而是滚雪球。

论文里有一张对比图很能说明问题。同一张黄昏海滩照片,用顺序展开的方式滚八轮,到第四轮地面上就开始出现细碎的噪点,到第八轮整片沙滩的质感彻底崩坏,像被撒了一层沙子。而用他们提出的新方法生成的结果,第八轮和第一轮的画面质感几乎一致。

这是第一个反直觉的地方:**不是模型不够强,而是数据生产方式本身给模型喂了有缺陷的示范。**

你可能会想,那就换更强的闭源模型来做顺序展开不就行了?论文里的数据否定了这个想法。他们用 Seedream 5.0 Lite、GPT Image 2、Nano Banana 2 三个顶级模型分别做顺序展开,八轮之后的画质评分分别掉到 3.51、3.83、3.70。第一轮大家都在 4.28 到 4.32 之间,起点几乎一样,终点全掉下来了。

**再强的模型也逃不掉误差累积,因为累积发生在数据里,不在模型里。**

核心方法:让四次编辑在一个屋檐下长大

### PTC:一张画布装下四次编辑

论文的核心提议叫打包轨迹画布*。名字有点绕,但意思很直白:不要生成四张独立的图,而是让模型一次性生成一张 2×2 的网格图,四个格子分别对应四次编辑之后的累积结果。

> 打包轨迹画布(packed trajectory canvas,PTC):一次生成调用产出的 4K 方形画布,按 2×2 布局容纳四次编辑各自的累积结果,每个子图约 2K 分辨率。

关键在"共享视觉上下文"这几个字。当模型在一个生成过程中同时画出四个格子时,它没法让左上角的天空和右上角的天空长得不一样,因为它是在同一个连续的潜空间里作画。这个约束本身就成了对抗漂移的护栏。

**传统做法里,四张图是四个独立的世界;PTC 里,四张图是同一个世界的四个瞬间。**

打个比方。假设你要记录一盆绿植的成长过程,每个月拍一张。

顺序展开的做法是:第一个月拍一张,第二个月把上个月那张照片打印出来,放在花盆前面再拍一张,第三个月再打印第二张……到第八个月,你拍到的是一张"照片的照片的照片",画质一层层衰减,反光、色偏、摩尔纹全叠上去了。而且每张新照片里,之前的照片也占了一部分画面,构图越来越奇怪。

PTC 的做法是:一次性拍一张四宫格的照片,四个格子分别是第一个月、第三个月、第五个月、第七个月的状态。因为是在同一盏灯、同一个机位、同一天拍的,四个格子的光线完全一致,质感完全一致。

如果你不这样做会怎样?你会得到前者那堆"照片的照片"。而且越往后越救不回来,因为误差被写进了输入。

还有一个工程上的好处:一次生成调用就产出了四个编辑状态,调用昂贵闭源模型的次数大幅减少。这是白捡的效率。

### 数据是怎么造出来的:三步流水线

PTC 只是个概念,真正实现起来有一整套流程。论文的图 2 画得很清楚,分三步走。

**第一步,种子图像筛选。**

从 LAION、Open Images、DenseFusion 这些公开图库里捞候选图,然后用两条硬标准过滤:短边至少 1024 像素,以及让 Gemini 3.1 Pro 打个美学分,必须 8 分以上(满分 10)。这一步的目的是保证源头干净。如果起点就是一张糊图,你没法判断后面的退化是编辑造成的还是原图本来就这样。

**第二步,PTC 生成。**

先让一个视觉语言模型看着源图,规划出四步连贯的编辑方案,同时写出一份 PTC 提示词。这份提示词里要写死四件事:四个格子分别对应第几轮、每轮具体改什么、后续轮次要保留前面所有改动、四个格子必须严格等分且不能有任何缝隙或边框。

然后把这个 prompt 和源图一起交给闭源图像编辑模型(GPT Image 2 或 Nano Banana 2),生成一张 4K 的 2×2 画布。

这一步有个细节值得注意:因为每个子图保留了大约 2K 分辨率,切下来之后仍然足够训练用。如果用 3×3 布局,模型要同时维持九个格子的视觉一致性和编辑语义,生成难度陡增,画质和跨格一致性都会明显下滑。所以论文默认用 2×2。

**第三步,PTC 转多轮轨迹。**

生成出来的画布要变成训练样本,还得过四道工序:

- 用 Gemini 3.1 Pro 过滤掉失败案例,比如格子之间内容互相串扰、或者模型干脆把画布画成了九宫格

- 用 Gemini 3.1 Pro 对比源图和相邻格子,倒推出每一轮的用户指令

- 按 2×2 切图,每个格子就是那一轮的编辑目标

- 用 SIFT 特征匹配加图像形变,做像素级对齐

最后一步容易被忽略,但很关键。生成模型画出来的四个格子,物体位置会有轻微抖动,如果不做对齐,训练时模型会以为"这一轮的任务除了改背包颜色,还要把整个人往左挪两个像素"。SIFT 匹配加形变修正的就是这种非语义的位移。

**如果你不做倒推指令这一步会怎样?** 你就只有一堆图像对,没有文字指令,模型学不会"人话和视觉变化之间的对应关系"。指令是从图里逆向猜出来的,所以它一定描述的是真实发生的变化,而不是模型以为发生的变化。

这部分有个数字很能说明规模:50 万条轨迹,269 万个编辑对。平均 5.38 轮,最长 8 轮。这个体量在同类数据集里是断层第一,此前的 Pico-Banana-400K 只有 7.7 万条轨迹,ImgEdit 11.5 万条,MagicBrush 只有 3 千条。

编辑的四种脾气:把"多轮"拆开来看

论文有个我觉得很有意思的处理:它没有把多轮编辑当成一件单一的事,而是拆成了四种不同的认知需求。

**单步编辑**是基础款。每轮只看上一张图和当前指令,占数据的 56%。

剩下 44% 是三类上下文感知编辑,每一类考验的东西不一样:

**持续约束编辑**。第一轮你说了"把盾牌改成亮银色,之后所有新增或修改的元素都要用这个银材质",之后几轮模型得一直记着这个约定。占 7%。

**文本指代编辑**。第一轮你说"把左边那个花瓶改成蓝色",第二轮你说"给它加一圈金边"。这个"它"指的是谁,模型得自己从上下文里推出来。占 25%。

**短指令编辑**。第一轮说清楚要改什么,之后就是"再亮一点""再大一点""再亮一些"。考验的是模型能不能理解这种渐进式的程度调节,而不是把"再亮一点"当成一个全新的独立任务。占 12%。

这个拆分很有价值。因为三种能力失败的形态完全不同:持续约束失败是"忘了约定",指代失败是"改错了对象",短指令失败是"改不动或者改过头"。

在持续约束的定性对比里,你能清楚看到 BAGEL 和 Emu3.5 在后几轮把银色材质约定彻底忘了,改出来的东西又变回原色。在文本指代的对比里,好几个模型把"给它加叶子"的叶子加到了旁边另一个水果上。比如那个青柠的场景,Emu3.5 和 Bagel 在第二轮"把它的果皮变深绿"时,直接动错了水果。

**多轮编辑不是一种能力,是四种能力的叠加。**

论文还把所有编辑按内容归了两级分类:五个大类(物体结构、物体外观、场景构成、局部细节、氛围),往下分 23 个叶子类别。这个分类在数据集上有分布图,能看出覆盖的面确实很宽。

评测:不光看改对没改对,还要看有没有改坏

有了数据,还得有尺子。论文的第二个贡献是 MTEdit-Bench。

现有基准的问题有两个。一是太短,很多只测三轮,三轮根本测不出误差累积。二是只测"改得对不对",不测"有没有改坏"。

MTEdit-Bench 分了四个子集。单步子集用 100 条八轮样本,专门测长链条下的表现。三个上下文感知子集各用 50 条四轮样本,测历史信息的利用。

指标有三个:

指令遵循度*,测这一轮要你改的东西改了没有。

> 指令遵循度(Instruction Following,IF):由视觉语言模型给"改前图、改后图、本轮指令"打分,0 到 10 分,判断改动是否完成、改动范围之外的内容是否被误伤。

内容一致性*,测不该改的东西有没有被改。

> 内容一致性(Content Consistency,CC):给出序列的初始图、当前轮生成图和截至当前轮的全部指令,判断未被指令授权的区域是否保持稳定。

漂移鲁棒性分数*,测画质有没有掉。

> 漂移鲁棒性分数(Drift Robustness Score,DRS):取 VisualQuality-R1 和 RALI 两个画质评价模型的均分,范围 0 到 5,专门衡量图像在反复编辑后是否出现质感退化。

这里有个设计我觉得挺讲究。如果某一轮的 IF 或 CC 掉到 6 分以下,论文就把这一轮之后所有轮次的这两个分数直接归零。

**因为后面所有的编辑都建立在一个错误的状态之上,再往后算分就没有意义了。**

这跟现实中你改图改崩了是一样的:第八轮改得再好,如果第三轮就把主角的脸改错了,整个序列已经废了。

DRS 则不做这种归零,因为它衡量的是画质,不是任务的逻辑链条。画质崩了可以继续评,任务崩了就不能。

论文还做了人工评估来验证这套自动指标靠不靠谱。结果 Spearman 相关系数在 0.82 到 0.92 之间,说明这套让 AI 打分的流程和人类排序的判断高度一致。

实验结果:赢了开源,输给闭源,但输得有道理

在单步子集上的结果,我挑几个关键数字。

第一轮,Qwen-Image-MTEdit(论文微调出来的模型)的 IF 是 9.74,CC 是 9.54,DRS 是 4.23。到第八轮,分别是 7.45、6.42、4.33。

它的底座是 Qwen-Image-Edit-Causal,第八轮的成绩是 3.17、2.41、4.06。

**IF 从 3.17 涨到 7.45,翻了一倍还多。这就是数据质量的直接体现。**

再看 DRS 这条线,更能说明问题。Qwen-Image-MTEdit 从第一轮的 4.23 到第八轮的 4.33,不降反升,全程稳定在 4.2 到 4.35 这个窄带里。而几乎所有其他方法,DRS 都在往下走。

| 方法 | 第 1 轮 DRS | 第 4 轮 DRS | 第 8 轮 DRS |

|---|---|---|---|

| Nano Banana Pro | 4.17 | 4.19 | 4.05 |

| Nano Banana 2 | 4.19 | 4.20 | 4.20 |

| GPT Image 2 | 4.22 | 4.20 | 4.17 |

| Seedream 5.0 Lite | 4.27 | 4.19 | 3.75 |

| Qwen-Image-Edit-Causal(底座) | 4.18 | 4.17 | 4.06 |

| **Qwen-Image-MTEdit(本文)** | 4.23 | **4.33** | **4.33** |

在 IF 和 CC 上,闭源的 Nano Banana Pro 依然领先,第八轮 IF 8.83、CC 7.51。论文自己也坦率承认:"虽然在指令遵循和内容保持上不及最强的闭源模型,但在参与比较的开源方法中达到了最好水平。"

这种老实交代反而是可信度的来源。

三个上下文感知子集上的结论类似。持续约束子集里,模型第四轮 IF* 是 8.20,CC* 是 8.32,都是开源第一,但相比第一轮的 9.70 和 9.80 仍有明显下滑。论文对此的表述是"持续约束依然是一个有挑战的问题"。

这句轻描淡写背后其实是个真问题。模型能记住"要用银色"这件事,但不能稳定地记八轮。

消融:证明了 PTC 本身就是功劳所在

论文做了一个我认为最关键的对照实验。

用同一个底座模型,同样的训练预算,同样 1 万条八轮轨迹,唯一的区别是数据来源:一批用 PTC 生成,一批用顺序展开生成。然后各训练 5000 步,在同一个测试集上比。

结果:从第二轮开始,PTC 数据的 IF 就领先。CC 每一轮都领先。DRS 从第三轮开始领先,八轮全程稳定在 4.17 到 4.26 之间,而顺序展开那一组在第八轮掉到 3.96。

**同样的模型,同样的训练量,唯一变量是数据是怎么造出来的,结果就分开了。**

图 5 那张猫的对比图很有说服力。同一只戴项圈的猫,第八轮时,用顺序展开数据训练的模型在猫脸和毛发上出现明显纹理伪影,用 PTC 数据训练的模型则保住了胡须和铃铛的细节。

如果你不做这个对照,你永远不知道提升是来自"数据量大了"还是"数据变好了"。这个实验把变量锁死了。

再补一个数据:PTC 流水线自己滚八轮,DRS 全程在 4.27 到 4.30 之间。而三个顶级闭源模型做顺序展开,第八轮分别掉到 3.51、3.83、3.70。

**差距不是零点几分,是半个多档次。**

模型改造:让它能同时看很多轮

光有好数据还不够,底座模型本身也得改成能处理多轮输入的架构。

Qwen-Image-MTEdit 在 Qwen-Image-Edit-Causal 的基础上做了两处结构性改动。

**第一处,块因果注意力*。**

> 块因果注意力(block causal attention):以"轮"为单位组织注意力掩码,当前轮可以看见之前所有轮的图像和文本,但看不见未来轮次,避免训练时的信息泄漏。

这个设计还有个训练上的红利:因为掩码是块状的,一个轨迹里的多轮目标可以在一次前向传播里并行计算,不用像顺序展开那样串行跑八遍。推理时还能复用 KV-Cache。

**第二处,三维交错旋转位置编码*。**

> 三维交错旋转位置编码(3D interleaved RoPE):把图像 token 和文本 token 按时间顺序排成"[图]-[文]-[图]-[文]"的交错序列,用位置编码标注每一段属于第几轮,让模型分得清哪句指令对应哪张图。

打个比方。想象你在整理一本手账,每页左边贴一张照片,右边写一句说明。如果所有照片都堆在一处、所有文字都堆在另一处,你翻的时候就会搞不清哪句话配哪张图。交错位置编码做的事,就是把照片和说明按时间顺序交替排好,还编上页码。

如果不这样编码会怎样?模型看到一句"把它的果皮变深绿",但无法判断这个"它"指的是第几轮出现的那个物体,指代就失效了。文本指代编辑之所以在很多模型上失败,一部分原因就在这里。

训练配置是 AdamW 优化器,学习率 5×10??,权重衰减 10??,20000 步,32 张 H100,每卡 batch size 1,bfloat16 混合精度。

这套方法的天花板在哪

论文自己列了三条局限,我觉得都挺诚实。

一是依赖闭源模型。整个流水线的画质上限,等于你所调用的那个闭源模型的上限。用 GPT Image 2 还是用 Nano Banana 2,结果会不一样。

二是 PTC 生成本身会失败。四个格子之间偶尔会互相串扰,比如上排的雪地场景把下排的草地也染白了,或者画面被画成了带白色分割线的九宫格。这些需要额外过滤,而过滤是有成本的。论文给出的失败案例图很直观,红框标出的部分一眼就能看出问题。

三是每个 PTC 只能产出四轮。想要八轮,就得把最后一轮的输出当作新起点,再跑一遍流水线。这意味着长任务里依然有一次性误差传递,只是从"每轮传一次"降到了"每四轮传一次"。如果要做 24 轮的极长序列,画质漂移还会回来。

**这不是一个消除误差累积的方案,而是一个把累积频率降低四倍的方案。**

这个定位其实更准确,也更有价值。因为误差累积不可能被彻底消除,任何自回归式生成的系统都躲不开这一点,能做的是控制它传播的粒度。

写在后面

读这篇论文时我一直在想一件事:它真正有意思的地方,不是那个 2×2 画布,而是它揭示的一种思维方式。

多轮编辑这个任务,大家一直当成"模型的连续推理能力"来看待,认为只要模型足够聪明、上下文足够长,就能记住前面改了什么。但论文的数据说明,模型在第八轮掉链子,很大程度上是因为训练数据本身就是一路掉着链子造出来的。模型在模仿数据里的坏习惯。

**你以为你在解决一个模型能力问题,其实你在解决一个数据制造工艺问题。**

这个思路在别的领域也能找到影子。比如工业上做多道工序的精密加工,如果你每一道工序都以"上一道工序的成品"为基准重新对刀,误差会累积。通常的做法是设一个统一的基准面,所有工装都从基准面量起。PTC 就是那个基准面,它让四次编辑都从同一个原始状态出发,而不是依次继承彼此的偏差。

还有一个细节我挺在意:论文里 BAGEL 和 Lance 这两个模型在第八轮出现了 IF 和 CC 归零的情况,但它们的 DRS 依然维持在 4.0 以上。也就是说,它们画出的图质感挺好,只是任务彻底做崩了。这提醒我们,画质指标和任务指标是可以完全脱钩的。一个模型把图改得漂亮但改错了地方,在只看画质的评测里会被判为优秀。

这大概是所有自动评测都要警惕的盲区。

至于这条路还能走多远,我更好奇的其实是另一个问题:既然 2×2 能把漂移压到可接受范围,3×3 因为格子太小失败了,那么是不是存在某种"非均匀"的画布布局,比如 2×2 的格子大小不等,让关键的那一轮占据更大面积、保留更多细节?还是说,帧数一多,模型对"这四个格子是同一个世界"的信念就开始松动了?

我不知道答案。但直觉上,后一个问题的答案可能决定了这条路线真正的上限。

一个模型在生成一张四宫格时,它到底有没有"这四个格子是同一时刻的同一个场景"这个意识?还是说它只是把它们当成四张风格相近的独立图片,碰巧画在了一块画布上?

【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-21 19:04:39


(第1/1页/共9741字/2阅)
首页>科技
相关科技:
EMNLP 2026|如何记住发生过的事?EM²Mem让记忆连接人与经历
警告:英伟达GPU恐遭“雪崩”
娃哈哈董事长许思敏离职,在宗馥莉接班后被提拔进入权力核心
具身智能的钱,流向机器人的“皮肤”
全球企业AI支出达1768亿美元,三年翻了100倍!三巨头占据近七成美国市场,美国89%开源模型支…
*那些现实中不曾发出的声音,请把它留在这里~
网友评论:
更多评论(0)
您的评论:

[热点科技]
后C罗时代首战溃不成军!霍伊伦双响,葡萄牙1-4丹麦造16年耻辱纪录
西海岸元素满满,李昊再献神扑零封对手,国足热身赛2:0完胜马来西亚
Skip:东契奇不愿与詹姆斯共享舞台,湖人并不想念后者
内蒙古速滑运动员韩梅在國際滑聯世界杯第一站以1分56秒40获女子1500米季军
后C罗时代首战!葡萄牙主场1-4崩盘 创16年耻辱 72岁新帅上任首败
[精彩推荐]
又一场“天价豪赌”来了
古人用尿和海螺染出来的贵族紫,我们在家复刻成功了
35岁浙江女子备孕10年未怀上,子宫内竟长出“骨头”,医生:这种罕见病隐匿性强,极易漏诊
喧嚣反转!2026广州车展大变局新势力集体进入静默期
APEC效应给文旅产业带来什么启示?对话中国人民大学宋洋洋