科技行者 2026-11-16 16:12:29
你有没有想过一件事:现在的AI助手动不动就能写代码、改文档、分析数据,但真的把它扔进一个普通公司的真实工作文件夹里,让它自己去翻找资料、理解业务逻辑、最后交出一份靠谱的报告,它到底行不行?
这正是一群研究者在2026年这篇论文里要回答的问题。他们给这类AI起了个名字,叫"工作智能体"。
**工作智能体**:能够自主操作数字文件、完成专业知识型工作任务的AI系统,比如帮你整理财务报表、审查代码仓库、撰写行业分析报告。
要训练出靠谱的工作智能体,你得先给它一个能练习的"训练场"。问题就出在这个训练场上。
### 练习场要么太假,要么太贵
想象你要培养一个新员工熟悉公司业务,你有两个选择。
第一种,找十个资深员工,手把手给新人准备案例,每个案例都真实、细致、来龙去脉清清楚楚。这种方法质量没得说,但十个资深员工一天能准备几个案例?撑死几十个。想要规模化培养几千个新人,这条路根本走不通。
第二种,让AI自己批量生成练习材料,一天能出几千个案例。但你翻开这些材料会发现,场景干净得不像话,文件夹里永远只有三五个文件,内容环环相扣得像是提前设计好的剧本。真实世界可不是这样,一个软件项目的仓库里可能有几十个文件,代码、文档、配置、日志散落各处,关键信息可能藏在你最想不到的某个角落。
论文里有张图特别说明问题。研究者让AI分别用"真实世界检索来的资源"和"AI自己编造的资源"去搭建同一个任务场景,结果一对比,真实场景的文件数量是编造场景的5.4倍,文件类型多了2.4倍,平均大小是21.5KB对279KB,足足13倍的差距。
这就好比你要考核一个实习生的调研能力,一种做法是把所有需要的信息提前整理好放进一个三页纸的文件里,另一种做法是把他扔进公司共享盘里,让他自己去十几个文件夹里翻,去找散落在不同部门报告里的线索。前者你测的是他看文档的能力,后者你测的才是他真正干活时需要的本事。如果训练场从来都是第一种干净版本,AI学会的就只是"看文档总结",而不是"在混乱中找到真相",等真正上岗那天,它会被第一个乱糟糟的真实文件夹打懵。
那有没有办法,既不用人工一个个手搭场景,又能保留真实世界那种复杂和混乱?
这就是这篇论文要解决的核心矛盾:规模化和真实性,这两件事过去被认为是互相矛盾的,你想要的多,就得牺牲真,你想要真,就只能要的少。
### WorkForge:从专家经验到可验证任务的四道工序
论文提出的方案叫**WorkForge**,可以理解成一条自动化流水线,输入是行业专家的工作经验,输出是上万个"自带验证标准"的真实工作环境。
整条流水线分四道工序:先提炼专家工作流程,再合成真实工作环境,然后生成具体任务,最后让AI去实际执行并打分。我们一道一道拆开看。
**第一道工序:把专家的脑子里的东西"抠"出来**
研究者没有让AI凭空想象任务,而是先去找各行各业的专家,让他们把自己日常的工作套路写成一份结构化说明,论文里管这个叫"场景蓝图"。
**场景蓝图**:由专家提炼出的可复用工作流程模板,包含做这件事需要什么资源、要做哪些关键判断、最终要交出什么成果。
举个论文里的例子,一个老师把"给学生批改单元测验,然后针对性讲解错题"这件事提炼成一份蓝图。这份蓝图不是一道具体的题,而是一套逻辑:拿学生答卷和标准答案对比,用教学资料把错误归类,然后输出讲解材料。这套逻辑一旦提炼出来,就能套用在不同年级、不同学科、不同考卷上,每次替换素材就能生成一个新任务。
这就像厨师总结出一道菜的做法口诀,而不是死记硬背某一次具体的食材配比。学会了口诀,换了什么季节的蔬菜都能照样做出这道菜。如果没有这层抽象,每次换个素材就得重新设计一遍任务,那规模化根本无从谈起。
**第二道工序:把蓝图装进真实的文件堆里**
有了蓝图,接下来要往里面填真材料。这一步分两半。
前半部分叫"环境映射",说白了就是派一个AI检索代理去网上搜索符合蓝图要求的真实资源,可能是某个开源代码仓库,可能是公开数据集,也可能是某个行业网站上的公开报告,下载下来,按照原本的文件夹结构摆放好,不做人工精简。
后半部分叫"环境画像",相当于给这个文件堆做一次全面体检,记录下这个工作区大概属于什么领域、里面文件各自扮演什么角色、有哪些可以确凿核实的事实。
**环境画像**:对一个工作区内容的结构化描述,包含领域摘要、可核实的事实清单、以及每个文件的格式和统计信息。
这一步特别关键,因为它决定了后面能出什么题、怎么判对错。论文举了一个金融案例,研究者用Kaggle上一个真实的Fama-French因子数据集库搭建场景,里面有297个CSV文件,分布在16个文件夹里,嵌套最深六层。画像阶段会扫描出类似这样的事实:美国三因子月度数据从1926年7月开始,新兴市场的五因子数据实际从1989年7月才开始,而不是你以为的和发达市场一样从1990年开始。这种容易被忽略的细节,恰恰是后面考核AI能不能做到位的关键锚点。
如果跳过这道"体检"直接出题,会发生什么?你很可能出一道连人类专家都答不对的题,因为题目要求里隐含了一个工作区里其实不存在、或者和实际情况相反的假设。这就像考官没看过试卷答案就随手编了道题,结果题目本身就是错的,那判卷时怎么可能判得准。
### 任务和"判分标准"必须来自同一个证据源
这是整篇论文我觉得设计得最巧妙的地方。
很多现有方法在生成任务的评判标准时,是让另一个AI单独去想"这个任务应该满足什么条件",这个标准和真实工作区内容可能压根没对上。结果就是判卷的AI凭空捏造了一堆根本无法在工作区里验证的要求,论文里管这个叫"幻觉式评判",说白了就是考官出了道超纲题,还按超纲的标准扣分。
WorkForge的做法是,任务说明和判分标准,必须都从同一份"环境画像"里抽取出来的事实锚点生成。拿前面那个金融案例来说,画像阶段已经核实了"新兴市场五因子数据从1989年7月开始"这个事实,那么后面生成的判分标准里就会专门有一条,检查AI交出的报告有没有正确区分198907和199007这两个日期,而不是笼统地写了199007就算过。
**判分标准**:论文里设计了两类,程序化判分负责核对硬性数值和文件状态这类有标准答案的要求,语义判分交给大语言模型裁判去评估那些没有唯一答案、需要判断质量的开放性要求,比如报告写得是否合理、论证是否有说服力。
这种做法像什么呢?像监考老师出题时手里拿着教材原文,每道题后面都标注着"答案出自第几页第几行",考生写完以后,监考不是凭印象打分,而是翻书核对。如果不这样做,监考标准完全靠自己脑补,考生答得再好也可能被扣分,因为标准本身就是飘在空中的。
论文里专门做了一组实验来验证这个设计到底值不值。他们把同一批候选任务分别用纯语义判分、纯程序化判分、以及两者结合的混合判分来筛选训练数据,各自挑出1000条轨迹去训练模型。结果混合判分训练出来的模型在ALE基准上拿到22.11分,纯语义判分只有15.62分,纯程序化判分更低只有14.89分。两种判分方式各管一摊,合在一起才是完整的证据链,少了哪一个都会漏判。
### 四万个专业领域,让AI真刀真枪练手
光有方法论还不够,论文也晒出了实打实的规模数据。
WorkForge最终构建了16.7万个任务(原文是16,665个,统计上写作16.7K),覆盖40个专业领域,工作区里一共涉及60种文件类型。这些领域从办公文档、数据库管理,到金融支付、广告营销、人工智能研究、医疗,几乎覆盖了职场里能想到的各个角落。文件类型里表格数据占了53.31%,图片占18.69%,结构化文本占13.21%,代码占7.27%。平均每个工作区有42.3个文件,总大小279KB,这个数字看着不大,但别忘了这是经过了合理筛选的,真实文件系统里信息密度往往比表面看起来高得多。
生成的任务并不是一锤子买卖,拿到任务说明和工作区之后,还得真的让一个"解题AI"去跑一遍,一步步探索文件、调用工具、最后提交成果,整个过程被完整记录下来,形成一条"轨迹"。论文统计这些轨迹平均要走31.8步,调用工具33.8次,消耗76485个token,这意味着一个任务的完成过程相当漫长,远不是几轮对话就能搞定的。
这就像培养一个新人不能只给他看几页PPT就算培训完了,得真让他上手处理一个完整的真实项目,从头到尾走一遍流程,中间犯了错、走了弯路,这些都要被记下来,才算是真正有价值的训练素材。
### 用这些数据训练出来的模型,表现到底怎么样
理论讲完了,关键是效果。
研究者拿这批数据去微调了两个模型,一个是Qwen3.5-35B-A3B-Base,一个是Qwen3.5-27B,分别在五个主流基准上测试,包括WildClawBench、Claw-Eval、GDPval、APEX-Agents和Agents' Last Exam。
| 模型 | GDPval得分 | APEX得分 | ALE得分 |
|---|---|---|---|
| Qwen3.5-35B-A3B-Base(原始) | 45.5 | 5.0 | 11.4 |
| + WorkForge微调 | **73.6** | **21.3** | **28.7** |
| Qwen3.5-27B(原始) | 79.4 | 25.7 | 32.7 |
| + WorkForge微调 | **82.4** | **29.9** | **33.9** |
数字说话,原本只有45.5分的GDPval成绩,微调后冲到了73.6,提升了28.1个百分点,相当于原本及格线都够不着,微调之后直接逼近优秀水平。更让人意外的是,27B这个相对不算特别大的模型,经过WorkForge数据训练之后,GDPval分数达到82.4,超过了参数量大出将近15倍的Qwen3.5-397B-A17B(79.7分),离最顶尖的闭源模型Claude Opus 4.8(89.1)和GPT-5.6 Sol(90.1)的差距也明显缩小了。
这组数据揭示的事情是,训练数据的质量和真实性,有时候比单纯堆参数规模更划算。这就好比两个学生备考,一个刷了海量的模拟卷子但题目都偏简单套路化,另一个只刷了精选的真题但每道题都来自真实考场、带着完整的解题过程和评分细则,往往是后者考试成绩更稳。
### 数据量和交互轮数,越多越好吗
论文还做了两组扩展性实验,挺有意思的。
第一组是看训练数据量从1000条、3600条、8000条一路加到16000条,模型表现会怎么变化。结果是基本呈单调上升趋势,用满16000条数据训练出来的模型,在ALE上拿到28.7分,WildClaw上拿到29.9分,比只用1000条数据训练的版本分别高出13.0分和8.4分。而且在这个规模下,模型已经能超过一些参数量更大的商业闭源模型比如DeepSeek V3.2在这两个榜单上的表现。
第二组实验更有意思,研究者专门把训练轨迹按交互轮数分成三组,0到20轮、21到40轮、41到60轮,每组各抽1000条来训练,看交互长度本身对模型能力的影响。结果显示,轮数越长的训练数据,训练出来的模型表现越好。用41到60轮数据训练的模型,在WildClaw上平均能做出24.0次有效工具调用,而用0到20轮数据训练的模型只有11.7次,差了一倍还多。更重要的是,前者会用到更多种类的工具,调用技能的频率也明显更高。
这说明了什么?如果训练素材本身交互就很短,AI学到的只是"快速给出一个答案"这种浅层模式,面对真实工作中那种需要反复摸索、多轮试错、不断调整计划的复杂任务,它根本没见过这种节奏,自然应付不来。这就像一个只练过百米冲刺的运动员,你让他跑马拉松,体能分配的策略他压根没练过,跑到一半就会崩溃。
### 微调之后,AI的"做事风格"真的变了
论文里还有一组行为分析的数据,挺打动我。
研究者对比了微调前后模型在GDPval任务中的具体行为。微调前,模型平均每个任务只访问1.24个外部网站域名,微调后这个数字涨到6.52,翻了5倍多。在工作区内部,针对性检索证据的动作占工具调用总数的比例,从5.9%提升到16.2%。更值得一提的是,当工具调用失败时,微调前模型的"反思"文字平均只有144个字符,基本上是草草重试,微调后这个数字涨到614个字符,说明模型开始认真分析失败原因,而不是盲目重试。
这些行为变化最终体现在具体成绩上。论文把GDPval的评分细则归成五大类,格式排版类提升了13个百分点,数值计算准确性提升了8.2个百分点,跨信息源整合提升了5.8个百分点。这些都是需要耐心调查、反复核实才能做好的事情,恰好印证了前面那组"交互轮数越长表现越好"的结论,两组数据互相呼应,说明WorkForge培养出来的不只是知识,更是一种"愿意花时间把事情做扎实"的工作习惯。
### 这条路还没走完
论文自己也坦承了几个局限。首先WorkForge高度依赖能找到专家经验和公开真实资源的领域,碰到涉密或者特别小众的专业场景,这套流水线就没法施展。其次,整条流水线从画像到出题到判分都是自动化的,这意味着它的可靠性完全取决于"环境画像"这一步做得够不够细致,一旦画像本身有遗漏或偏差,后面生成的任务和判分标准也会跟着出错,目前这部分还没有经过专家的系统性校准。还有一点,现在的判分标准主要盯着最终交付物,对AI做事过程中的中间步骤关注不够,比如AI走了弯路但最后歪打正着得出正确答案,这种情况目前的评判体系其实没法细致区分。
### 写在后面
读完这篇论文,让我印象最深的不是那些漂亮的提升百分比,而是那张"真实工作区vs合成工作区"的对比图。13倍的文件大小差距,5.4倍的文件数量差距,这组数字背后藏着一个容易被忽视的问题:我们过去评判AI智能体能力的很多基准,可能从一开始就建立在过于干净的沙盘上,就像用游泳池里学的游泳技术去应付真实的河流,看起来都是游泳,实际的水流复杂度完全不是一回事。
还有一个细节值得单独拿出来说,就是那个Fama-French因子数据集案例里"新兴市场1989年7月对发达市场1990年7月"的日期差异。这种细节非常容易被AI忽略,因为直觉上你会觉得国际市场数据应该是统一起始时间,但真实世界的数据往往就是这么参差不齐。WorkForge能把这种藏在数据深处的"坑"提炼成明确的考核点,这种能力如果推广到其他领域,比如法律合同审查、医疗病历分析,可能会挖出更多这类容易被人类专家都忽略的隐藏陷阱。
这篇论文没有解决的问题,也是我自己想继续追问的,当AI的工作轨迹变得越来越长、越来越复杂,我们到底该怎么判断它中间走的弯路是"有价值的探索"还是"纯粹的浪费"?毕竟人类专家处理复杂任务时,试错本身就是思考的一部分,而不是扣分项。
Q&A
Q1:WorkForge是什么?
A:WorkForge是一个可扩展的框架,能从真实世界的资源中自动构建可验证的工作智能体训练环境,覆盖40个专业领域,一共生成了16.7万个任务。
Q2:WorkForge和传统合成环境相比有什么优势?
A:真实工作区的文件数量是合成工作区的5.4倍,文件类型多2.4倍,平均大小大13倍,能提供更丰富的探索和验证空间,避免AI只学会应付过于干净简单的场景。
Q3:用WorkForge数据训练模型效果怎么样?
A:Qwen3.5-35B-A3B-Base在GDPval上从45.5分提升到73.6分,APEX从5.0分提升到21.3分,27B版本甚至超过了参数量大15倍的模型。
【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。
发布时间:2026-11-16 15:04:36
(第1/1页/共7465字/6阅)