您尚未登录/注册
首页>教育
当一辆车里的语音助手需要0.1秒给出答案,大模型却要花1.5秒把答案“说”出来
科技行者 2026-11-17 15:53:54

你有没有遇到过这种情况:对着车里的语音助手说了句话,然后眼巴巴等着它反应,结果足足停顿了一秒多才开口。你可能以为它在"思考"怎么回答你,但真相可能让你有点意外。它很可能根本不是在思考怎么回复你,而是在纠结几件和你的问题毫不相关的小事:你刚才那句话说完了没有?你是想打断它还是只是在附和?接下来该用哪段预录好的"嗯好的"来接话?

这些问题琐碎到你根本不会意识到它们的存在,但对语音助手来说,每一个都要调用一次完整的大语言模型推理。而大语言模型最擅长的事情是什么?是一个字一个字往外蹦着生成文本,这个过程叫自回归解码。

自回归解码*:大语言模型生成文字的标准方式,每次只能根据前面已经生成的内容预测下一个词,一个接一个往外吐,像接力棒一样传递下去。

问题是,这种"一个字一个字往外蹦"的方式,天生就是为了写文章、编故事设计的,不是为了回答"是不是轮到你说话了"这种只有几个选项的判断题准备的。这篇来自Adventists.ai团队的论文,就盯上了这个被忽略的角落,提出了一个叫DuplexJev的方案。

这件事到底有多亏

先说一组扎心的数据。论文里提到一个真实部署的车载语音助手系统,叫Dimi,由某AI公司运营,三个月里处理了145万次用户对话。这套系统里,大模型光是做"要不要调用工具""这句话是什么意图""该接哪句开场白"这类判断题,就吃掉了全部输入token的30%。

30%是什么概念?意味着每10句话里的处理资源,有3句根本不是在回答用户问题,而是在做幕后的杂务判断。更要命的是,这些判断还是阻塞性的,用户问完话到听见第一个字的回应,中位数延迟是1.29秒。而且这些小决策不光慢,还贵,因为要保持系统在高峰期依然够快,就得预留大量备用算力,这部分闲置的成本常年都在烧钱。

论文作者观察到一个很朴素的事实:这些决策根本不需要生成一整段文字。判断"轮到你说话了吗",答案无非是"是"或"否";判断该用哪条预录语音接话,答案也就是从几个选项里选一个字母。既然答案的信息量这么小,为什么非要启动一整套逐字生成的机器?

这就好比你去银行柜台办事,工作人员只需要在"同意""不同意"两个按钮里按一下,但银行却非要求他写一份完整的审批报告,打印、盖章、扫描,走完流程才能告诉你结果。如果不改变这个流程,哪怕工作人员动作再快,你排的队也不会短,因为瓶颈从来不在他按按钮的速度,而在那套不必要的写报告流程本身。

那该怎么办?DuplexJev的思路是:把语音直接喂给大模型,让模型在心里"读"一遍每个问题的选项,然后只输出一个字母,不要让它开口说话。

让语音绕过文字,直接进大模型的脑子

要理解DuplexJev的设计,得先搞清楚传统方案是怎么处理语音的。

通常的流程是这样:先用语音识别把声音转成文字(这一步叫ASR),然后把文字喂给大模型,让大模型读文字、生成回答。

ASR*:Automatic Speech Recognition的缩写,自动语音识别,把声音转成文字的技术。

这个流程有个天然的缺陷:转成文字的那一刻,声音里很多东西就永远丢失了。你是用愤怒的语气说"我没事",还是用平静的语气说,文字上看起来完全一样,但语音识别只会老老实实写下"我没事"三个字,语气、情绪、说话人的性别这些信息,全部在转写这一步被过滤掉了。

DuplexJev干脆跳过转写这一步。语音识别系统(论文里用的是Qwen3-ASR-0.6B)会在处理声音的过程中产生一层一层的隐藏状态,这些状态里藏着声学层面的丰富信息,比ASR最终吐出来的文字要丰富得多。DuplexJev设计了一个很小的"连接器"模块,把这些隐藏状态直接转换成大语言模型能理解的向量,塞进模型的输入里。

连接器(Connector)*:论文里指一个小型可训练模块,负责把语音编码器产生的隐藏状态转换成大语言模型能直接理解的输入向量,是整套系统里唯一需要训练的部分。

这里有个关键的设计选择:大语言模型本身是冻结的,不参与训练,只有这个小小的连接器在学习怎么把语音"翻译"成大模型能听懂的语言。这就好比你请了一位精通法语的资深翻译官,不需要让他重新去学中文,你只需要训练一个小助理,让这个助理学会把中文快速转换成法语的腔调传递给翻译官。翻译官的水平不会变差,但多了一个能处理新语言的渠道,而且培训这个小助理的成本,比重新培训翻译官要低得多。

论文里对比了两种连接器设计。一种叫B,只取语音编码器最后一层的输出,经过一个投影层送进大模型,这种做法参考了业界已有的Ultravox方案。另一种叫A,在投影之前加了一个跨层注意力融合模块,同时用了第18层做查询、第14层做键、第9层做值,试图把不同层级的语音信息综合起来。

跨层注意力融合*:一种让模型同时参考神经网络不同层级输出的机制,论文里用来测试"浅层保留更多说话人和语气信息,深层偏向语义内容"这个常见假设是否成立。

业内一直有个直觉,认为语音识别模型训练到后面,最后一层会越来越偏向纯语言内容,而中间层反而保留了更多说话人身份、情绪语气这类"副语言"信息。论文专门设计了A和B两种结构来验证这个直觉,结果发现对于他们用的这个编码器,这个直觉其实站不住脚,具体后面会讲到。

接下来是这套系统最核心的机制:怎么让大模型"回答"问题而不用生成文字。

答案很巧妙。每道问题都被设计成选择题,选项标上字母A、B、C、D,字母顺序还会随机打乱,避免模型总是偏爱某个位置。大模型跑一次前向传播,只看它在"答案应该填的那个位置"上,对A、B、C、D这几个字对应token的概率打分有多高,取概率最高的那个作为答案。整个过程不需要模型真的把"A"这个字生成出来再读入,直接读概率分布就行。

打个比方,这就像老师改选择题,不需要学生写"我认为答案是A,因为……"一整段论证,只需要看学生在答题卡上涂的是哪个圈。如果非要学生写一整段论证过程,不仅改卷慢,而且论证过程里很可能夹杂着和答案本身无关的废话,拖慢整个流程却不增加任何信息量。

这种"一步到位读概率"的方式带来一个意外的好处:多个问题可以打包在一起批量处理。同一通电话、同一段音频,不同的问题可以共享同一段语音编码的结果,最长公共前缀只算一次,后面不同问题的部分并行展开。论文的实验数据显示,8块H200显卡组成的节点,处理8段话、总共80个决策问题,只要0.1秒左右。

而如果走传统的生成JSON格式答案的老路,同样10个判断题在一张H200显卡上,生成一次要1.57秒,相当于慢了17倍,还没算上语音转文字本身要花的411毫秒。当对话里带着1471个token的上下文(这正是前面提到的车载助手里工具调用判断的典型上下文长度)时,差距依然有11倍之多。

问题藏在"谁来当老师"里,不在模型结构

讲到这里你可能会问,既然语音编码器的隐藏状态里本来就藏着情绪、性别这些信息,那把它们接进大模型,模型不就自然"听懂"了吗?

事情没这么简单。论文做了一个很扎心的对照实验。研究者用了一种叫"转写蒸馏"的训练方式,让连接器学习的目标是:听到语音时产生的输出,要和大模型读纯文字转写时产生的输出尽量一致。

转写蒸馏*:一种训练连接器的常见方法,让模型在接收语音输入时的输出分布,去模仿它接收对应文字转写时的输出分布,目的是让语音理解能力对齐文字理解能力。

这个思路乍一听很合理:毕竟文字转写里包含了语言内容,让语音端去模仿文字端的行为,应该能学到语言理解能力。论文也确实用这个方法训练内容理解相关的任务,效果不错,口语问答准确率能做到90%,几乎和直接读文字转写的91%打平。

但轮到判断说话人性别这种任务时,问题就暴露了。研究者把同样的方法用在性别判断上训练了6000步,结果性别判断准确率死死卡在53%,跟瞎猜没有区别(因为是二选一,瞎猜本身就有50%)。而与此同时,研究者单独做了一个线性探针实验,直接从语音编码器的最后一层去读性别信息,探针能达到97.5%的准确率。

这说明什么?说明语音编码器里明明已经把性别信息编码得清清楚楚,但大模型死活学不会用它来回答问题。为什么会这样?原因很简单也很讽刺:转写蒸馏里,"老师"模型从来没有听过声音,它只读文字转写。而性别这个信息压根不在文字里。你让一个从没见过说话人、只看文字记录的老师来教学生判断"这是男声还是女声",老师自己都不知道答案,只能凭文字里的性别代词或者句式习惯瞎猜一个大概率,学生自然也学不到真正的声学线索,只能学到老师那套基于文字的猜测偏见。

研究者为了排除是数据或训练设置的问题,换着花样试了好几种方案:只用性别数据单独训练、把学习率提高五倍、换一个随机初始化的连接器重新开始训练、甚至直接拿训练集本身去测试,结果全部卡在53%到56%之间,纹丝不动。这不是训练不够充分的问题,而是这套训练目标从根子上就没法学到这个信息,因为老师自己是"聋子"。

这就好比你请了一位从未见过病人、只读病历文字记录的医生,让他来教实习医生"怎么通过病人的面色判断病情"。病历文字里写的是"患者主诉头痛",没有写"患者脸色发青",这位远程老师压根没见过病人的脸,又怎么教得了这门手艺?哪怕让实习医生把病历反复读一万遍,他学到的也只是文字记录里的模式,而不是真正的视觉判断能力。如果继续沿用这套训练方式,无论花多少算力、调多少超参数,这堵墙都跨不过去。

找到病根之后,解决方案出乎意料地简单:换一个"监督信号",不再让连接器去模仿一个聋子老师的输出,而是直接用正确答案的那个字母去做交叉熵监督,让模型直接对着真实的性别标签学习。

答案token监督*:论文提出的训练方法,只对模型读取答案时那个唯一的字母token做交叉熵损失计算,跳过中间所有的思维链或描述性文字,让模型直接学会在那个位置上输出正确答案。

效果立竿见影。同样的数据、同样的训练步数,只是换了损失函数,性别判断准确率从53%直接跳到89%(A版本)和88%(B版本)。如果进一步把训练数据里80%的问题都换成性别问题,这个能力在250步以内就能学会,准确率冲到92%,在另一个独立测试集上更是达到97%。情绪识别也是类似的故事,从接近瞎猜的28%一路提升到90%左右。

更有意思的是论文做的交叉验证:专门训练了性别判断能力的模型,去做情绪判断依然停留在接近瞎猜的26%到29%,反过来也是一样。这说明模型确实是针对性地学会了某种具体的声学线索,而不是学会了一种"随便蒙对一个答案"的投机取巧办法。

那么连接器的结构(前面提到的A版本跨层融合和B版本只取最后一层)到底重不重要?论文给出的答案有点反直觉:不太重要。无论是A还是B,学习性别信息的速度几乎一样快(2000步时88%对84%),情绪识别上B甚至比A学得更好。再加上前面提到的线性探针实验,不管是编码器本身还是两种连接器处理后的向量,性别和情绪信息本来就已经清清楚楚地摆在那里,谁都能读出来。

真正决定模型能不能"听懂"这些信息的,从来不是连接器用了多复杂的结构,而是训练时给的监督信号对不对。这是整篇论文里最值得记住的一个发现:很多时候我们以为的"模型能力不够",其实是"我们教它的方式从一开始就不对"。

学会听情绪,会不会忘了听内容

这里自然会冒出一个担心:教会模型关注说话人的性别和情绪,会不会让它在原本擅长的内容理解上退步?毕竟模型的参数就那么多,学了新东西会不会挤占旧能力的空间?

论文对这个问题的回答相对乐观,但也不是毫无代价。研究者专门发布了一个叫qa100的测试集,100道四选一的口语问答题,中英文各半,逻辑题和事实题各半。在这个测试集上,性别训练前后的变化只有正负3个百分点以内,情绪训练也类似,变化不大。

但另一个叫ZJU-ML的测试集给出了不太一样的信号。这是一个来自浙江大学团队的音频评测基准,一半题目是真实录音,一半是语音合成的。情绪训练让这个测试集上的成绩掉了6到10个百分点,如果把性别和情绪两个任务混在一起训练,成绩更是掉了16到17个百分点,而且几乎全部损失都集中在真实录音里的事实类题目上。

研究者没有回避这个结果,反而把它老老实实写进了论文里。他们尝试了一种混合目标的训练方式,内容类样本继续用转写蒸馏,判断类样本用答案token监督,两种损失加权相加。这种混合方式确实能把qa100上的损失控制得更小(从负4个点缩小到负1个点),同时在性别和情绪任务上拿到最好的成绩(性别90%,情绪90%),但ZJU-ML上的下降幅度并没有被真正解决。

这说明听懂说话人是谁和听懂说话人说了什么之间,确实存在某种此消彼长的张力,这不是一个能靠调调训练技巧就能完全消除的免费午餐,而是实实在在需要权衡的工程取舍。

批量处理为什么能省下这么多时间

前面提到0.1秒处理80个决策,这个数字背后其实有一个很巧妙的工程设计,值得单独说一说,因为它解释了为什么这套系统能在真实的高并发场景下站得住脚。

核心思路叫"前缀共享"。设想一通电话里,系统需要同时判断好几件事:这句话说完了吗?是不是在打断我?该接哪句开场白?这几个问题其实都基于同一段对话历史和同一段音频,如果每个问题都重新把整段音频和对话历史编码一遍,那就是在做大量重复劳动。

前缀共享*:一种让多个问题共用同一段已编码上下文的技术,只把每个问题独有的那一小段"后缀"单独处理,大幅减少重复计算和显存占用。

DuplexJev的做法是,把这些问题共有的部分(模板、对话历史、音频)只编码一次,存进一个叫KV缓存的中间结果里,然后把每个问题独有的那一小截"后缀"拼在一起,用一种特殊的掩码让每个后缀只能看到共享的前缀和自己,看不到其他问题的后缀,这样一次前向传播就能把所有问题的答案都读出来。

这就好比一个班主任要给全班学生做家访前的背景调查,如果每次都重新把学生档案、班级规章制度从头读一遍,再去问具体问题,那效率极低。更聪明的做法是把那些所有学生共用的部分(班级规章、年级安排)提前整理成一份通用材料,只整理一次,然后针对每个学生只补充他独有的那一小段信息。如果不做这个优化,面对100个问题和一个1500个token长的对话上下文,系统跑完全部问题要花37.9秒,做了优化之后只要5.1秒,差了7倍多;如果上下文长到5000个token,不做优化的话系统甚至会直接内存溢出,根本跑不完。

论文还验证了这个优化不会改变答案本身的正确性,共享前缀和逐个单独计算的结果,在200道题里只有5到7道题有细微差异,而且差异幅度极小,基本可以归结为浮点数计算带来的噪声。

真实世界里这套系统能做什么

抛开这些实验数字,这篇论文更打动我的地方,其实是它对真实产品场景的细致观察。

论文举了一个很具体的例子:车载语音助手要给用户一个开场白式的"垫话"(比如说"好的,我帮你查一下"),如果每次都靠大模型现场生成这二十来个字,根据论文里的数据,一次生成要消耗5020个token,相当于为了说一句客套话,烧掉了比判断用户意图高十倍的算力。

DuplexJev给出的替代方案是:预先准备一个很大的录音库,里面存满各种场景下的垫话录音,系统不再现场生成文字,而是通过几轮布尔判断(是不是这句、是不是那句)或者一棵由粗到细的决策树,从录音库里挑出最合适的那一条直接播放。整个过程消耗的只是一次读取式的问答,而不是一次完整的生成。

这套系统还有一个很实用的设计,叫"置信度门控"。模型给出答案的同时会附带一个概率分数,如果这个分数低于某个阈值(论文里用的是0.95),系统可以选择不信任这个答案,转而走更保守的处理流程。这相当于给系统装了一个自知之明的开关,论文的数据显示,只在置信度达到0.95以上时才采信答案,能覆盖87%的问题,而且这部分答案的准确率高达93%。

这就像老练的保安在核对身份证照片和真人时,大部分一眼就能确认,但遇到角度刁钻、光线昏暗的情况,他不会硬着头皮瞎猜,而是让你摘下口罩再看一眼,或者干脆叫来同事复核。一套不会"装懂"的系统,比一套永远自信满满却经常出错的系统,在真实场景里要可靠得多。

论文发布之后的延伸空间

这篇论文发表于2026年,目前还比较新,直接的后续引用工作还不多,但论文本身已经指出了一些明确的延伸方向。作者在结论里提到,下一步计划探索"设备端用小模型做门控判断",也就是把这套思路搬到算力更有限的边缘设备上,用更小的语言模型来完成同样的决策型任务,这对真正需要低延迟、低功耗的车载或穿戴设备场景会非常关键。

另外,论文里提到的OpenJev和Jev这两个工具(分别来自不同团队),本身也代表了一类正在兴起的"System-One决策模型"思路,强调给定一个状态和一个运行时才声明的问题,直接返回一个选项分布,而不是生成文本。这类工具链如果进一步成熟,有可能会让DuplexJev这种"读取而非生成"的范式,从语音决策场景扩展到更广泛的人机交互判断场景里去,比如图像理解里的快速分类判断、多模态助手里的意图路由,等等。

写在后面

读完这篇论文,最让我意外的不是那个17倍的速度提升,速度提升是预料之中的事,毕竟不用生成文字肯定更快。真正让我停下来重新想了一遍的,是那个关于"聋子老师"的实验。

我们习惯性地认为,只要把语音接进大模型,模型自然就能"听懂"语音里的所有信息,情绪也好,性别也好。但这篇论文用一个很朴素的对照实验戳破了这个假设:模型学不会,不是因为它听不见,而是因为教它的那套方法从源头上就没让它接触过这些信息。老师自己都没听过声音,学生又怎么学得会从声音里读信息?

这让我联想到一个更普遍的现象:很多时候我们觉得某个AI系统"能力不够",急着去换更大的模型、加更多参数,但问题可能根本不在模型容量上,而在训练目标本身有没有把我们真正想要的信息包含进去。如果监督信号本身就是"瞎"的,再大的模型也学不出看得见的眼睛。

论文里还有一个细节我觉得值得单独拎出来说:情绪训练之后,某个模型在性别判断上的分数掉到了49%,比瞎猜的50%还低一点点,论文把这个标注为"情绪训练本身给性别答案带来了偏置"。这种负面结果研究者没有藏着掖着,而是老老实实写了出来,这种诚实在很多论文里其实并不常见。

一套系统要同时听清楚说话人说了什么、是男是女、心情如何,这件事本身没有免费的答案,总有些地方要做取舍。这篇论文没有假装自己解决了所有问题,它只是把这个取舍摆在了桌面上,让人看得明明白白。

Q&A

Q1:DuplexJev是什么?

A:DuplexJev是一套让冻结的大语言模型直接从语音隐藏状态读取答案的系统,不需要生成文字,通过连接器把语音编码器的输出接入大模型,一次前向传播就能批量回答多个选择题式的判断问题,8块H200显卡处理8段话80个决策只需约0.1秒。

Q2:为什么大语言模型学不会判断说话人的性别和情绪?

A:因为常用的训练方法是转写蒸馏,让模型模仿自己读文字转写时的输出,而这个"老师"从来没听过声音,文字里也没有性别和情绪信息,学生自然学不会。论文发现换成直接监督答案字母的训练方式后,性别判断准确率从53%跳到89%左右。

Q3:这套方法会不会让大模型原有的语言理解能力变差?

A:在作者发布的qa100测试集上影响很小,正负3个百分点以内。但在另一个叫ZJU-ML的测试集上,加入情绪和性别训练后准确率下降明显,混合训练时最多掉了16到17个百分点,说明听懂说话人是谁和听懂说话人说了什么之间存在真实的能力权衡。

【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-16 16:04:15


(第1/1页/共9218字/2阅)
首页>教育
相关教育:
连唐国强老师都学会了开挖机,蓝翔的教学水平你还有什么不放心?
老师教孩子性知识被家长投诉?性教育启蒙张不开嘴,遭罪的是孩子
学历会贬值,但一个人的韧性、专注力、解决问题的能力永远不会贬值
AI 办公如何真正懂得什么叫工作?
别找 FDE 了,分享个企业 AI Native 转型的焚决
*三两仙友,论道炼丹,开帮立派,星火传承
网友评论:
更多评论(0)
您的评论:

[热点教育]
盘中拉升!分红前密集增持,李宁展露超高“财技”
马斯克阴阳孙正义违约后 软银确认约30亿美元设备订金不可退还,单季亏损70亿美元
11月12日,国内油价或迎来下调
比亚迪就大唐轮辋装配问题致歉:系供应商录入失误,提供免费调换
光模块突然涨爆了,大光狂飙,原因找到了
[精彩推荐]
美媒:欧洲航空管理部门为何难以遏制这波炸弹威胁?
磁带不是早就“死”了吗,怎么突然打赢复活赛了
财经观察:拨款两万亿日元,项目已延误数月,日本“孤注一掷”,为何造不出尖端芯片?
250名三甲医生输给中国AI!引发中美医疗权威热议
未来光锥闭门会纪要丨基模更强之后,AI4M怎么做?