科技行者 2026-11-21 11:27:39
你有没有遇到过这种情况:请一个新同事帮忙改个bug,你怕他看不完整个项目,于是把相关代码片段东拼西凑发给他,结果他改出来的代码,根本编译不过,因为你发的那段代码里,有一行被你删掉了一半,他照着删掉的那一半去改,自然就对不上了。
这听起来像个笑话,但这恰恰是现在AI编程助手每天都在经历的事。
**当AI帮你改代码时,它看到的往往不是完整的项目,而是一个被精心裁剪过的"片段拼盘"**
这背后有个现实约束:任何一个AI模型,不管多聪明,它能一次性"看"的文字量是有限的,这叫上下文窗口。而真实的代码仓库有多大?研究者统计过,SWE-bench这个常用的代码测试集里,平均一个项目有3010个非测试文件,438000行代码。
上下文窗口:AI模型单次处理文本时能够接纳的最大长度,超出这个长度的内容模型根本看不到。
这就好比你让一个人读完一本438000字的百科全书,然后立刻指出其中哪一页哪一行写错了。没人能做到,所以必须有人先帮AI"划重点"。问题是,怎么划这个重点,直接决定了AI能不能把bug改对。
这篇来自伊利诺伊大学厄巴纳-香槽分校的研究,就是在死磕这个"怎么划重点"的问题。研究者给它起了个挺形象的名字:Skip the Compressor,跳过压缩器。
划重点的两种流派,谁更靠谱
现在业界划重点的做法,大体分成两派。
第一派叫检索,简单说就是"哪段代码和问题描述最像,就把哪段拿出来"。这个思路用的是一种叫BM25的老技术,它会统计问题描述里的词,在代码仓库的各个文件里出现的频率,频率高的文件就被认为"相关",优先展示。
BM25:一种基于关键词匹配频率给文档打分排序的检索算法,是搜索引擎里的经典工具。
第二派叫压缩,做法是先把一大堆可能相关的代码塞进一个临时的"候选池",然后用一个小模型给每一行代码打分,觉得不重要的字词就删掉,直到总字数压到预算以内。这就像你把一篇长文章里"可能没用"的形容词、连接词都删掉,只留骨架。
这两派听起来都挺合理,但论文里有个例子,把两派的问题都暴露得明明白白。
有个真实的bug报告,说某个项目里的报错信息少写了一个字母f(在Python里,f开头的字符串叫f-string,是用来嵌入变量的,少了这个f,变量就不会被正确替换,会原封不动地打印出"{filename}"这样的占位符文字)。
f-string:Python里一种特殊字符串写法,在字符串前加字母f,就能把花括号里的变量名替换成它的实际值,少了这个f,花括号里的内容会原样输出,不会被替换。
这个bug真正需要改的文件,叫twine/sdist.py。结果呢,用BM25检索的那一派,因为问题描述里提到了"报错""上传失败"这些词,检索系统就把仓库里两个"问题模板"文件(专门给用户填bug报告用的模板,里面恰好也有很多"报错""失败"字样)捞出来塞满了整个预算,真正要改的那个文件,一行都没露面。AI拿到这堆模板,自然瞎编了一段根本不存在的代码去改,补丁完全打不上。
压缩那一派呢,倒是把正确的文件保留下来了,但是压缩模型在"瘦身"的过程中,把那一行代码里的f和引号给删了。AI看到的代码,已经不是文件里原本的样子,它照着这行"被删过"的代码去改,结果写出的补丁对不上文件的真实内容,还是打不上。
**两派方法殊途同归,都栽在了同一件事上:它们都没有保证,AI看到的代码,既是要改的那个文件,又是文件里原原本本的样子**
这篇论文提出的解法,听起来简单到有点"返璞归真":别检索,也别压缩,干脆让AI自己先判断"这个bug大概要改哪几个文件",然后把这几个文件原封不动、完整地展示出来。研究者给这个方法起了个名字,叫CQ2-CARE。
CQ2-CARE:本文提出的一种上下文构建方法,核心思路是让AI模型自己判断需要修改哪些文件,然后把这些文件完整、逐字地展示给它,不做任何删减或压缩。
这个方法好不好用,得拿数据说话。
预算一样,效果却差了快13个百分点
研究者设计了一个很"较真"的对比实验:不管用检索、用压缩还是用CQ2-CARE,每道题分到的"字数预算"必须完全一样。这个预算怎么定?就按CQ2-CARE自己选出来的文件实际占用了多少字,其他方法就只能用一样多的字。这样一来,谁也别想靠"多看点内容"占便宜。
测试题目来自SWE-rebench,一个收录了860个近期真实GitHub issue的测试集,研究者从里面挑了300道题,每道题来自不同的代码仓库,保证覆盖面够广。
SWE-rebench:一个自动收集近期真实软件bug报告、用于评测AI编程能力的测试集,题目来源于真实的GitHub项目问题。
结果是什么样的?用GPT-5.6这个模型测试,CQ2-CARE解决了43.7%的问题。而三种压缩方法里表现最好的那个,只解决了37.3%,差了6.3个百分点。三种检索方法里最好的那个,只有34.3%,差了9.3个百分点。换成Claude Opus 5这个模型测试,CQ2-CARE的优势更明显,解决了46.7%,比最好的压缩方法高6.3个百分点,比最好的检索方法高了12.7个百分点。
这些差距不是误差范围内的波动,研究者专门做了统计显著性检验,大部分差距都在统计学意义上站得住脚。
更有意思的是,研究者还拿两个专门为"改bug"这件事训练过的AI模型来做对比。一个叫SweRank,是专门训练来给代码函数排序、找出哪个函数最可能是bug所在地的模型。另一个叫SWE-Pruner,是专门训练来给代码"删减瘦身"的模型。这两个都是"专业选手",CQ2-CARE只是一个"不需要训练、临时现场判断"的简单方法,居然还是赢了SweRank0.7到1.7个百分点,赢了SWE-Pruner2.0到7.3个百分点。
这就好比一个没请私教、全靠自己琢磨动作的业余跑者,比赛成绩居然超过了专门请了教练、定制了训练计划的选手。这不是说专业训练没用,而是说明"该跑哪条路"这个选择本身,有时候比"怎么跑得更省力"更重要。
两个指标,拆开看问题出在哪
为了说清楚检索和压缩到底各自输在哪儿,研究者定义了两个很直白的指标。
第一个叫"关键文件命中率",衡量的是AI看到的这堆代码里,到底有没有包含真正需要改的那个文件。第二个叫"逐字还原率",衡量的是AI看到的代码,有多大比例是文件里原本的样子,而不是被改动过的版本。
关键文件命中率:指上下文中实际包含了多少比例的、标准答案补丁真正修改过的文件,没包含就说明AI压根没看到该改的地方。
逐字还原率:指上下文里的代码行,有多大比例跟代码仓库里的原始内容逐字一致,比例越低说明改动越多,代码越"失真"。
数据显示,BM25逐块检索和向量检索(一种用语义相似度而不是关键词匹配的检索方式)的逐字还原率都是100%,它们从不篡改代码,但关键文件命中率只有58%和58%左右,意味着将近一半的题目,它们压根没把该改的文件捞出来。研究者还统计了这些检索方法展示的内容里,有多少比例来自测试文件、文档模板这类跟bug修复毫无关系的"噪音"内容,结果是BM25逐块检索有28%的内容是非Python的文档模板文件,还有17.2%是测试文件,真正该改的文件只占了20.9%的篇幅。
反过来,压缩方法这边,LLMLingua-2(一种基于小分类器判断每个词是否该保留的压缩工具)的逐字还原率只有17.5%,也就是说,它展示的代码里,超过八成的内容已经被改动过。这直接导致它的补丁应用成功率只有70.7%,而CQ2-CARE的补丁应用成功率是98%。
这个差距背后的逻辑其实很好理解。
**AI编程助手改代码的方式,本质上是"找到某一行,把它替换成另一行"。如果它看到的那一行,跟文件里真实存在的那一行不一样,这个替换操作天然就会失败**
这就好比你去银行改签合同,柜员让你把"第三条第二句"划掉重写,可你手里拿的合同复印件,是被人用涂改液改过的版本,你划掉的那句话,跟银行档案里的原文根本不一致,签字生效的那一刻,系统比对出不一致,直接打回。如果不保证AI看到的文本和仓库里的文本逐字一致,它写出来的"补丁指令"注定是对不上号的废纸。
为什么不是"检索越准就行"
这里可能有读者会问,那我把检索做得更准一点,是不是也能解决问题?
研究者确实也测试了SWE-bench官方自带的那种"文件级BM25检索",就是不再按代码片段打分,而是整个文件打分,排名靠前的文件整篇塞进去。结果呢,这种方法虽然展示的是完整文件(逐字还原率100%),补丁应用率也因此提升到了95.7%,但它解决问题的比例只有34.3%,还是比CQ2-CARE低了9.3个百分点。
原因还是回到那个关键文件命中率。文件级BM25靠"整篇文件跟问题描述的相似度"来排序,而真正要改的文件,很多时候写得平平无奇,跟bug报告里的措辞一点都不像。这就好比你要找出办公室里哪个同事最近心情不好,去找"最近在朋友圈发负面情绪文字"的那个人,结果真正心情不好的那位,恰恰什么都没发,反而是另一个平时就喜欢发牢骚的同事,被你误判成了"最近有问题"的人。相似度这个指标,衡量的是"像不像",不是"该不该改",这两者经常是两件事。
控制实验:把两种损失拆开验证
光靠观察对比实验的结果,还不足以证明"检索丢文件"和"压缩改文本"这两个问题是各自独立造成伤害的,因为检索和压缩本身选的文件也不一样,存在变量混杂的风险。
研究者于是做了几个"只改一个变量"的对照实验。
第一个实验,拿CQ2-CARE自己选出来的、完全正确的文件,人为地删掉其中20%的字,看看会发生什么。结果补丁应用率从98%掉到78.7%,解决率掉了9.7个百分点。这证明了,哪怕文件选得再准,只要内容被改动,照样会出问题,这个损失幅度跟主实验里压缩方法落后的幅度差不多。
第二个实验更有意思,研究者让压缩工具不再从头开始找文件,而是直接拿CQ2-CARE选好的候选文件去压缩,这时候LongCodeZip(一种专门针对代码设计的压缩工具)的解决率反而达到了44.7%,比CQ2-CARE还高一点。这说明,CQ2-CARE真正的优势,其实来自"选对了文件",而不是"展示方式"本身。如果给压缩工具一个公平的起点,它压缩整行文字(而不是压缩单个字词)其实表现也不差。
这个发现挺值得琢磨。
**问题的根源不在于"要不要压缩",而在于"压缩之前,有没有先把范围缩小到正确的那几个文件上"**
这就像你搬家打包行李,如果你压根不知道哪些箱子要带走,瞎打包一堆东西还拼命往小箱子里塞,塞得再紧实也没用,因为可能真正要带的东西根本没被装进去。但如果你先搞清楚哪几箱是必须带的,再决定要不要把衣服叠得更紧凑一点来省空间,那才是有意义的优化。CQ2-CARE的价值,其实更多体现在"先定好箱子"这一步,至于箱子里的东西要不要再精简,反而是次要问题。
CQ2-CARE具体是怎么干的
说到这里,可能有读者好奇,这个所谓"让AI自己判断该改哪些文件"的方法,具体是怎么操作的?
它的流程大致是这样的。首先,系统会把整个代码仓库的文件路径列一个清单,按照跟bug描述共享的关键词数量排序,挑出最相关的一批路径(不是文件内容,只是文件名和路径),列成一个"文件名录"给AI看。
接着,AI会被问五次同样的问题:"看这个bug描述和这份文件名录,你觉得应该改哪些文件?"这五次回答里,系统会挑出两次,只保留两次回答里都提到的文件,作为最终要展示的候选文件。如果两次回答完全没有交集,就退回去用第一次回答的结果。
**这里有个很巧妙的设计逻辑:两次独立判断都认同的文件,被认为更靠谱,这叫"自我一致性"**
这背后的道理其实很朴素。你让同一个人针对同一个问题答两次,如果两次答案高度重合,说明他是真的想明白了,不是随口一说;如果两次答案风马牛不相及,那说明这个问题本身就超出了他能确定的范围,这时候宁可谨慎一点,只信他第一次的直觉判断。
确定了要改哪些文件之后,CQ2-CARE还会多做一步:它会让AI想一想,这个修复可能还依赖哪些"周边信息",比如某个函数的定义在哪里、这个函数被哪些地方调用过。针对这些线索,系统用一种叫grep的文本搜索工具(一种在文件里查找特定字符串的命令行工具),在仓库里搜出相关的代码片段,作为补充证据加进上下文里,但这部分补充内容会被严格限制篇幅,不会无限膨胀。
最后,所有选中的文件会被完整地、逐字地塞进上下文,中间加上标题注明是哪个文件的第几行到第几行。
整套流程算下来,平均每道题只需要选中1.7个文件(中位数是1个),这意味着大部分bug其实就藏在一两个文件里,根本不需要看遍整个仓库。
研究者还做了个有意思的消融实验,验证"两次判断取交集"这个设计到底是不是关键所在。结果发现,如果只用一次判断,但人为地把它截断到跟"两次取交集"选出的文件数量一样多,解决问题的比例几乎不受影响。
**换句话说,真正起作用的不是"问两次取交集"这个花活,而是"选的文件数量足够少、足够精准"这个结果**
这个发现对后来想复现或改进这个方法的人很有启发意义:别在"怎么问AI"这个细节上死磕,重点应该放在"怎么把候选范围收窄到真正重要的几个文件"上。
预算之外的省钱账
除了效果上的优势,CQ2-CARE还有个附带好处:它比起"先构建一个完整的候选上下文,再用压缩工具去瘦身"的流程,反而更省钱。
因为压缩方法需要先把一个未经压缩的、体量更大的候选上下文准备好,然后再调用压缩模型处理它,这个过程本身要消耗额外的计算资源和API调用费用。研究者算了一笔账,用GPT-5.6模型跑CQ2-CARE,每道题的API调用成本是0.151美元,而那种先构建完整上下文再压缩的流程,成本在0.168到0.199美元之间。
这还没算上压缩模型本身运行所需要的GPU时间。研究者提到,LongLLMLingua和LongCodeZip这两种压缩工具,每道题平均要花34到37秒的GPU运算时间,在Claude处理更大规模上下文的场景下,甚至要跑到84到97秒,其中LongCodeZip还在4道题上因为显存不够(48GB的显卡)直接跑崩了。
这就好比你本来只需要去便利店买一瓶水,结果有人非要先把整个超市的货架都搬到你面前,再从里面挑出那瓶水递给你。这个"先搬后挑"的过程,看起来是为了"确保不会漏掉任何可能有用的东西",但实际上消耗的时间和力气,远远超过了直接走到水架前拿一瓶水。
稳健性检验:换个场景结论还成立吗
研究者没有满足于单一场景下的胜利,还做了好几轮"挑刺式"的稳健性检验,看看这个结论是不是只在特定条件下才成立。
第一个检验是看预算匹配的精度。因为压缩工具的"压缩比例"这个参数是分档的,不是连续可调的,有时候怎么调都没法精确匹配到预设的预算,只能凑一个接近值。研究者专门挑出那些预算匹配得特别精准(误差在2%以内)的题目重新对比,结果发现,即便排除了"预算没对齐"这个干扰因素,CQ2-CARE依然保持领先,差距没有缩小,反而在某些对比里更明显。
第二个检验是换一种AI改代码的"操作方式"。原本的实验里,AI是通过写"统一diff格式"(一种描述代码改动的标准格式,类似"第几行删掉,新增第几行")来提交补丁的。研究者又测试了另一种格式,叫"搜索替换"(直接说"把这段文字换成那段文字"),结果所有的压缩和检索方法依然全部落后于CQ2-CARE。而且研究者发现,从压缩过的上下文里摘出来的这些"要被替换的文字",经常在真实文件里根本找不到对应的、唯一的匹配位置,这进一步印证了"文本被篡改"这个问题的严重性。
第三个检验是改变压缩比例,看看在更宽松或更严苛的预算下,排名顺序是不是会反转。研究者测试了把上下文压缩到原始候选内容的25%、50%、75%这三档,结果显示,不管在哪个压缩比例下,压缩方法和检索方法都始终没能追上CQ2-CARE的水平,这说明这个优势不是某个特定预算点上的巧合,而是贯穿整个压缩谱系的稳定现象。
这篇论文给后来者留下的两个追问
这项研究做得挺扎实,但研究者自己也在论文的结尾处坦诚地指出了几个还没解决的问题,这些问题恰恰是后续研究值得深挖的方向。
第一个问题是关于"AI能不能中途补救"。现在很多AI编程助手其实是可以多轮对话、随时打开新文件去看的,这篇论文里测的是"一次性给上下文,一次性写补丁"的场景,没有测试那种允许AI边读边改、发现不对就回头再查一查的完整智能体工作流程。研究者推测,如果AI能在发现上下文不够用的时候主动要求查看更多内容,也许能挽回一部分因为上下文不完整带来的损失,但这需要额外的对话轮次和token消耗,这个权衡到底值不值得,目前还没有定论。
第二个问题更有意思,是关于"中间指标会不会骗人"。研究者发现,如果只看"AI两次判断的一致性有多高"这个中间指标,数值确实会随着一致性要求提高而大幅上升,但如果换成"实际解决了多少真实bug"这个最终指标来看,提高一致性门槛带来的收益却非常有限。这提醒所有做AI系统评测的人,不能光盯着容易测量的中间分数,得盯着真正在意的最终结果。
写在后面
读完这篇论文,最让我意外的一个细节,其实是那个"文件级BM25检索"的实验结果。
直觉上,如果检索工具已经做到"整篇文件打分",而不是零散的代码片段,逐字还原率也做到了100%,这应该已经解决了大部分问题。但实际数据显示,它依然比CQ2-CARE落后将近10个百分点。这说明,"展示完整文件"这件事本身,只是解决问题的必要条件,不是充分条件,真正决定成败的,是能不能把范围收窄到正确的那一两个文件上,而这件事,靠"相似度打分"这种机械的方式,天生就有盲区。
另一个让我反复琢磨的地方,是那个"控制实验证明根源来自选文件而非压缩手段"的发现。这其实颠覆了一个我原本默认的假设:我以为"压缩代码会破坏语法结构"是这类任务里最致命的问题,但论文证明,只要候选文件选对了,哪怕是基础的压缩工具,表现也不会差太多。问题的重心,从"怎么压缩"悄悄挪到了"怎么筛选"上面,这个视角转换对我来说挺有启发。
这也让我想到一个更大的问题:在很多需要处理超长信息的场景里,我们是不是也经常把精力放错了地方,一直在琢磨"怎么把内容压缩得更精炼",却没有先问一句"我压缩的这堆东西,一开始选得对不对"?
Q&A
Q1:CQ2-CARE是什么?
A:CQ2-CARE是本文提出的一种代码上下文构建方法,它让AI模型自己判断某个bug需要修改哪些文件,然后把这些文件原封不动、完整地展示给AI,不经过任何压缩或删减,从而避免检索方法漏选文件和压缩方法篡改代码这两类问题。
Q2:为什么压缩代码会让AI编程助手改bug失败?
A:因为AI改代码的方式是找到某一行原文,把它替换成新的内容,如果压缩工具删掉了部分字词导致AI看到的代码和文件里真实的内容不一致,它写出的替换指令就会对不上号,导致补丁无法正确应用,论文中压缩方法的补丁应用成功率最低只有70.7%,远低于CQ2-CARE的98%。
Q3:选对文件和压缩代码哪个更重要?
A:论文通过控制实验证明选对文件更关键,当研究者让压缩工具直接基于CQ2-CARE筛选出的正确候选文件去压缩时,效果反而能追平甚至超过CQ2-CARE本身,说明问题的根源在于范围是否收窄到正确文件,而不是压缩手段本身的优劣。
【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。
发布时间:2026-11-21 11:04:12
(第1/1页/共9581字/2阅)