你有没有遇到过这种情况：想在修图软件里改一张照片，脑子里明明很清楚要改什么，可一打字就卡住了。

比如一张客厅照片里摆了三把一模一样的白色椅子，你想把中间那把换成蓝色。你打字描述："把中间的椅子改成蓝色。"结果AI给你改了左边那把，因为"中间"这个词太模糊了，AI也不知道你说的中间是以谁的视角。于是你只能继续补充文字："是从左往右数第二把，靠近黑色桌子的那把，椅背稍微往后仰的那把……"

这段描述写完,你可能自己都快忘了原本想改的是什么颜色了。

这就是文本指令编辑图片的一个老问题：描述"要改成什么"很容易，但描述"改哪里"经常很费劲,尤其当画面里有好几个长得差不多的物体时。微软研究院联合悉尼大学、复旦大学等机构的研究者们,最近就针对这个问题做了一件挺实在的事:他们让你不用全靠文字说清楚位置，而是直接在图片上圈一圈、画一画、写几个字，AI就懂你的意思了。

这篇论文的主角叫VibeEdit。

**画布指令：当标记和文字一起出现在图片上**

VibeEdit的核心想法其实很朴素：既然语言描述位置很麻烦，那就别全靠语言了，让用户直接在图片上做标记。

圆圈*：一种在画布上画出来的闭合曲线标记，用于圈出用户想要编辑的物体或区域，不需要精确贴合物体边界。

研究者把这套在图片上直接标记的操作方式称为"画布指令"（canvas instruction）。具体来说，用户可以用圆圈圈出想改的物体，用潦草的涂鸦表示"这个东西我要删掉"，用一条箭头表示"把这个东西挪到那里去"，再配上几个手写的短句说明具体要做什么改动，比如在圆圈旁边写"换成天鹅绒蓝"。这些标记和文字放在一起，直接盖在原图上，就构成了一条完整的编辑指令，不需要再额外打一段文字描述。

想象一下你在装修公司给设计师看户型图的场景。如果你口头描述"客厅那面靠近厨房、朝南的墙，大概两米高的位置"，设计师得反复确认好几遍才能理解。但如果你直接拿红笔在图纸上画个圈，写上"这里开窗"，设计师立刻就懂了，根本不需要你口头补充方位描述。如果不允许你在图纸上直接标记，只能靠嘴说，那沟通效率至少要打对折，还容易出错。画布指令的逻辑和这个场景完全一样，它把语言负责"描述目标状态"和空间标记负责"锁定位置"这两件事拆开，各司其职，谁也不用替谁扛着原本不擅长的任务。

VibeEdit支持五种编辑操作：添加物体、删除物体、替换物体、修改属性（比如颜色、材质）、移动物体。每一种操作对应不同的标记组合，圆圈配文字表示添加或修改，圆圈加涂鸦配"删除它"表示删除，两个圆圈加一条箭头表示移动。

**1.55万亿?不,是155万组训练数据怎么来的**

要让AI学会看懂这些圈圈画画，得先喂给它足够多的例子。研究者构建了一个包含155万组（准确数字是1,554,062组）源图像和目标图像配对的数据集，每一组都带有物体掩码和结构化的编辑描述。

掩码*：图像处理中用来精确标出某个区域或物体轮廓的二值图，黑白分明地告诉程序"这块是目标，那块不是"。

这个数据构建过程挺讲究。研究团队先用Florence-2这个视觉模型在图片里找出一堆候选物体，再交给GPT-5.6判断哪个物体适合拿来做编辑训练,标准是这个物体得清晰可辨、不能太小也不能太大、得和周围环境分得开。选定物体后，用SAM 3模型精确抠出它的轮廓掩码。

接下来针对五种不同的编辑操作，用了五套不同的生成策略。添加和删除这两个操作是一体两面的：用ObjectClear模型把某个物体从图里"擦掉"，生成一张没有这个物体的干净背景图，这一对图片反过来用就是添加训练数据，正着用就是删除训练数据，一套数据顶两套用。属性修改用Qwen-Image-Edit直接按照提示词改变物体的颜色材质之类的属性。物体替换用FLUX.1 Fill模型在掩码区域内生成一个完全不同类别的新物体。物体移动则稍微复杂些，先用Qwen-Image-Edit把物体挪到新位置，再用SAM 3在编辑后的图上重新定位，确定它挪到哪儿了。

这套流程最后攒出来的155万组数据，训练的时候并不是直接拿去用的。研究者在训练过程中实时渲染圈圈、涂鸦、箭头和文字，每次渲染的笔画粗细、字体、位置都会随机变化，手写体和印刷体都有涉及。这么做是为了让模型见识足够多样的标注风格，不至于只认识某一种画风的圆圈。

如果你想一下，这其实挺像教小孩认字。如果你每次都用同一支红色水笔、同一种楷体字去教孩子认"山"这个字，孩子可能只认识这一种写法的"山"，换个人用圆珠笔写个草体"山"字，孩子就懵了。VibeEdit在训练时故意制造各种笔迹变化，就是不想让模型变成那个只认一种字体的孩子。

**让AI只看懂标记，不把标记画进成品里**

这里有个挺棘手的技术难题：你在图片上画了个红圈写了几个字，这些标记只是给AI看的指令，可不能真的出现在最终生成的图片里。如果AI把红圈和手写字也原样保留在输出结果里，那这图就废了。

VibeEdit的解决办法是"分层解耦条件编码"。

DiT*：扩散变换器（Diffusion Transformer），一种结合了扩散模型生成能力和Transformer架构处理长序列优势的图像生成网络结构，是当前许多先进图像生成模型的底层骨架。

具体来说，VibeEdit基于Qwen-Image-Edit这个开源图像编辑模型改造而来，但做了一个关键调整：用来理解语义的视觉语言编码器（Qwen2.5-VL）去看那张带标记的完整图片，负责读懂"这个圈代表什么，这段文字要求什么"；而真正负责生成画面的那条通路（VAE编码器加DiT主干），接收的是两路分开的输入,一路是干净的原始图像,另一路是把标记单独画在灰色背景上得到的"标记层"图像。这两路分开编码，再一起喂给生成网络。

这种设计的好处是，生成网络始终有一份"干净"的原图作为参照，不会被标记污染，但同时又能从标记层里精确获取"位置在哪里、要改成什么"的空间信息。实验数据印证了这个设计的价值：如果只用原图做输入（不给标记信息），得分只有24.7分；换成同时输入带标记的完整图，得分涨到58.6；而分开输入原图和标记层，得分进一步提升到67.8，PSNR（一种衡量图像保真度的指标，数值越高说明图像还原越准确）也从24.2dB提升到27.0dB。

这就好比你让一个画家照着一张"带批注的草图"画正式作品。如果你直接把批注和草图糊在一起扔给他，画家画出来的成品很可能把批注文字也一并临摹上去。但如果你把批注单独抄一份给他看懂意图，再把干净的草图原件给他照着画，他既懂得你要改什么，笔下又不会把批注本身画进去。不这样拆分的后果，实验里写得很清楚：少了十个百分点的差距。

**哪里该重点学，哪里可以放松**

局部编辑有个天然特点：一张图里，真正要改的那块地方往往只占很小一部分，大部分像素其实没变。如果训练的时候对整张图一视同仁地计算误差，模型很可能把精力分散在那些根本不需要改的区域上，反而把真正该改的地方学得不够到位。

VibeEdit用了一种"区域加权"的监督学习策略，给编辑区域和标记区域分配更高的权重，同时保留对全图的基础监督，不是完全不管别的地方，只是重点照顾该改的地方。研究者还对掩码做了"膨胀"处理，把标记区域适当往外扩一点，这是因为用户画的圈往往不会精确贴合物体边界，稍微往外扩一点能容纳这种误差。

这个思路很像你给学生批改作文时用荧光笔标重点。整篇文章你都会通读，但对于错别字密集或者论点薄弱的那几段，你会用荧光笔多划几道，提醒自己批改时多花心思。消融实验显示，光做加权而不做膨胀处理，分数反而从66.2掉到64.2；加权配合膨胀一起用，分数才提升到67.8。这说明单纯"重点关照"还不够，你还得给这个重点区域留出一点容错的边界,毕竟用户画的圈不会分毫不差。

**让模型学会"既要改对，也要改好，还不能乱改"**

监督学习只是让模型学会了"看懂画布指令"，但一张图编辑得对不对、好不好看、有没有误伤周围内容，这些更细致的判断光靠监督学习还不够精准。VibeEdit接下来用了一种叫"规则引导强化学习"（rubric-guided reinforcement learning）的方法来进一步打磨模型行为。

强化学习*：一种让AI通过不断尝试并根据反馈结果调整策略的训练方式，有点像通过"做对了奖励、做错了不奖励"的机制逐渐学会怎么把事情做好。

具体做法是，针对同一条编辑指令，让当前的模型生成多份不同的编辑结果，然后用一个视觉语言模型（VLM）充当"裁判"，对每份结果打分。打分分成三个维度：编辑是否成功完成、无关区域是否保持原样、编辑局部的视觉质量是否自然融洽。每个维度下又细分成若干个具体的是非判断题，比如"这个物体是否出现在指定位置里""周围有没有出现不该有的重复物体"。

VLM*：视觉语言模型（Vision-Language Model），能同时理解图像和文字的AI模型，常被用作自动化的图像质量评判工具。

有了这些打分，模型就能知道哪几份生成结果更优秀，然后用DiffusionNFT这种优化算法，让模型朝着得分更高的方向调整自己的生成策略。消融实验里有个挺说明问题的结果：如果只用"编辑是否成功"这一项奖励，总分是69.2分，PSNR是28.6dB；加上"局部视觉质量"奖励，分数涨到72.4，但PSNR反而降到28.0；如果换成加上"无关区域保持"这项奖励，分数涨到74.9，PSNR也涨到29.4；三项奖励全加上，分数直接跳到79.9，PSNR也到了32.8dB。

这个现象其实挺有意思。单独追求"改得漂亮"，有时候反而会让模型手滑改到了不该改的地方，把周围内容也顺带修饰了一下。而三个目标同时约束，才能让模型既改得对、改得好看，又不乱动手。这有点像一个厨师炒菜,如果只追求"这道菜好吃"，他可能为了提升风味而放飞自我，把隔壁菜品的食材也顺手拿来用了；但如果同时要求"这道菜好吃，而且不能动用别的菜的食材，上菜速度还要达标"，厨师才会在约束之下找到真正合理的做法。

**155万数据之外，还得有把尺子量效果**

光有训练数据和训练方法还不够，研究者还专门构建了一个独立的评测基准，一共419个案例，专门挑那些场景里有好几个长得差不多的物体的图片,比如三把一样的椅子、一排相似的花盆,就是为了检验模型到底能不能精确找到用户指的那一个。

评测的时候，研究者让人工标注员先确定编辑区域和期望的改动，然后用这些信息渲染出画布指令。为了公平对比，他们还给那些依赖文字指令的传统编辑模型准备了详细的外部文字说明，平均21.3个单词，里面会明确写出目标物体在画面里的具体位置。也就是说，传统模型拿到的是"已经帮你把位置说清楚了"的文字提示，而VibeEdit只拿到图片上的圈圈和手写字，没有额外的文字说明。

结果挺能说明问题。那些传统编辑模型（包括Qwen-Image-Edit、LongCat-Image-Edit、FLUX.2-klein、FireRed-Image-Edit、JoyAI-Image-Edit、Step1X-Edit，还有OpenAI的GPT-Image-1）在只给标注图片、不给文字说明的情况下，表现普遍很差，综合得分大多在20到47分之间。而当它们拿到详细的文字位置说明之后，得分普遍跳到50到67分左右，这说明这些模型确实严重依赖文字把位置讲清楚。

VibeEdit在没有额外文字说明、只靠画布指令的情况下，基础版本就已经达到67.8分，和表现最好的文字指令模型FireRed（67.4分）打平，而且在图像保真度（PSNR）上还要明显领先（27.0dB对24.0dB）。经过强化学习微调后的完整版VibeEdit，综合得分达到79.9分，PSNR达到32.8dB，在全部五种编辑任务上都拿到了最高分。

这组数字背后的意思是，VibeEdit光靠图片上的标记，就能达到甚至超过那些需要详细文字描述才能发挥正常水平的模型。换句话说，一个画在图上的圆圈，有时候真的比一段精心打磨的文字描述还管用。

研究者还做了不少细节实验来验证各个设计选择的必要性。比如测试笔画颜色变化（红色换成蓝色、黄色甚至随机颜色）对效果几乎没有影响，分数波动不超过0.6分；测试字体多样性发现，用多种字体训练出来的模型，面对用户真实手写的指令时，人类评测员的偏好得分（Elo值）明显更高，达到1617.1，远超单一字体训练的1382.9；还测试了四种不同的删除标记设计，发现"涂鸦加文字说明'删除它'"这种组合效果最好，比单纯画个叉号效果要高出20多分。

研究者甚至专门验证了自动打分的VLM裁判靠不靠谱,拿100个样本给真人评委和GPT-5.6-sol同时打分，结果两者的判断一致率达到93%，Cohen's kappa系数0.805，说明这个自动化裁判确实能较好地替代人工评估，这对于大规模训练和评测来说是个实用的保障。

**写在后面**

读这篇论文的时候，有个细节让我停下来多想了一会儿：论文里专门做了个实验，对比"只用一种删除标记设计"和"涂鸦配文字说明"这两种方式的效果差距，差了二十多分。这说明即便是很细微的标注方式选择，比如要不要在涂鸦旁边多写"删除它"这三个字，都会实实在在影响AI的理解准确率。这提醒我，人机交互界面里那些看起来微不足道的设计细节，背后其实都是经过实打实的数据验证的，不是凭感觉拍脑袋定的。

还有一点值得琢磨。这篇论文里反复出现的核心矛盾，其实不是"AI能不能听懂人话"，而是"人到底该用什么方式跟AI沟通最省力"。文字很擅长描述抽象概念，比如颜色、材质、情绪，但特别不擅长精确定位空间位置，尤其当画面里有多个相似物体的时候。而空间标记正好相反，画个圈几乎零成本就能锁定位置，但你没法用一个圆圈表达"把它换成天鹅绒质感的深蓝色"。这篇论文做的事情，本质上是把两种沟通方式按照各自擅长的部分重新分工，而不是哪个取代哪个。这种"各司其职"的思路，其实在很多人机交互设计里都适用，不只是图像编辑。

论文里还有个没细说但挺值得追问的地方：如果用户的圈画得特别离谱，比如把两个相邻的物体都圈进去了，或者圈的位置和实际想改的物体完全对不上，模型会怎么处理？论文提到膨胀掩码是为了容忍一定程度的误差，但误差大到什么程度模型就彻底理解错了，这个边界在哪里，论文没有给出明确的量化答案。这大概也是未来值得继续挖的方向。

Q&A

Q1：VibeEdit是什么？

A：VibeEdit是一种新的图像编辑AI模型，用户不需要打字描述编辑位置，而是直接在图片上画圆圈、涂鸦、箭头并配上简短文字标注，就能完成物体添加、删除、替换、属性修改和移动这五种编辑操作。

Q2：VibeEdit和普通的文字指令编辑模型有什么区别？

A：普通模型需要用户用文字详细描述要改的物体位置和改动内容，当画面里有多个相似物体时容易描述不清；VibeEdit直接让用户在图片上标记，不需要额外文字说明位置，在实测中综合得分79.9分，超过了需要详细文字说明的最佳对比模型FireRed的67.4分。

Q3：VibeEdit是怎么训练出来的？

A：研究团队构建了155万组源图像和编辑后图像的配对数据，并在Qwen-Image-Edit基础上做了分层解耦条件编码改造，先用区域加权监督学习打基础，再用规则引导强化学习进一步优化编辑成功率、局部质量和无关区域保持这三方面的表现。