最近的一个想法，

Agent 是很牛逼，很强，但是如果它不能时时刻刻在线跟我们保持互动，只是单纯靠打字来回沟通，效率低不说，能做的还是太浅了。

换句话说，

一个实时语音互动，能带来的体验上巨大的提升。

有这个想法的原因除了一直在用各种Agent 之外，还有就是，

最近清理电脑，翻到24年的时候，做过一个能语音交互的demo，但是那个非常糙，而且背后几乎就是各路模型的组装。

比如有STT（speech-to-text) 模型，把声音变成文字，再送给LLM，还有TTS（text-to-speech）把文字转成语音等等，

这么做带来的很明显的问题是，它始终都不可能像人和人之间自然交流，还有延迟问题太严重了。

这两天看到MOSS 发了一个全双工实时语音交互模型，MOSS-Live，能很自然的让人与AI沟通对话，甚至可以做到想随时打断就能随时打断，而且不受环境杂音的干扰。

比两年前我做的那个效果不知道好多少倍了。

01什么是全双工？

可能还有小伙伴不知道全双工这个词的意思， 我稍微解释一下。

其实这并不是一个新的技术名词。

它最早是出现在通信领域，指双方可以同时发送和接收消息，不用互相等待。

举个简单的例子，电话就是全双工原理。 而大家电影里经常看到的对讲机其实是半双工的，因为同一时刻只能有一方在讲话。

而真正的全双工语音交互，不仅要求AI能边听边说，还要能在持续的倾听的过程中能实时理解语义并做出符合情境的回复。

总归就是一句话，

让AI更自然、更真实的与我们交流。

那什么样算自然，真实？

我在MOSS的官网以及Plaground 里都做了一些体验，感觉还是有点东西的。

02嘈杂环境，稳如老狗

首先要能在嘈杂的环境里也能自然流畅的对话。 比如像下面这样：

这里其实背景声音是非常大的。

我用我自己的MacBook 做对话测试，然后用另一台mac mini 放背景声音干扰；两台机器摆放的距离就是一个桌面前后挨着。

可以看到我的电脑收音甚至会在对话的过程中把背景声音收进来，但是并没有影响我和MOSS-Live的正常对话，仍然非常丝滑。

03随意打断、停顿

之前一个视频其实已经可以看到，哪怕在嘈杂环境中，随意打断对话，切到一个新的话题，都没有问题。

那我还想更深入一点，加上我们日常在说话的时候会有的口癖停顿，比如“额... ”、“那，... ”，甚至还有啧嘴声。

这段对话里有大量的我说话的停顿，思考，还有一些口癖，MOSS-Live都处理的非常不错。

而且这次还加大了难度，比如让它对比一下嘉兴和桐庐哪个更适合去玩，做旅行规划等等 。它给我的回复不仅非常自然，而且内容信息量也非常高。

还有还有，我们还可以试试其他语言对话。这种自然丝滑的程度，我觉得完全可以来做个语言辅导陪练了。

（请忽略我的渣渣英语）

美中不足的一点点是我在录制的时候，网络在中间应该是出现了一点波动，卡了一下下。

但是这也没影响整体对话的质量，非常自然。语速并没有过快，对像我这样的非母语者也非常友好。

04视频画面实时同步

那光语音对话交流自然是很牛逼了，但是这还远远不够。

世界毕竟是多模态的。

要是能同步实时分享视频画面，进行交流，才更加真实自然。

而MOSS-Live 同样也可以做到。

我在跟他交流的时候同步打开了Anthropic 的一篇博客，然后直接让它陪读。这个直接就改变了我以往读文章的工作流程。

以往看文章遇到不懂的东西，不仅复制粘贴到别的AI里进行询问，还要补全上下文，怕AI不理解；但是有Moss-Live 的话完全不用，它就像一个常驻的小助手一样，一直在线，直接提问就行。

而且，可以看到我在提问的时候，有些英文单词咬字都不是特别准，比如dreaming 咬字成追迷这类，但是它也能根据上下文语境，理解到位。

还有，它会有一些过渡性的描述以及语气，比如“我看一下” 、“你说的是...吧 ”，这些都会大大增强真实感。

05最后写点

一直以来，我们都在追求让Agent 的能力越来越强，能自己完成代码重构任务，能自己在网上比价下单、或者帮我们订餐等等

这些都很好，这些都很重要。

但，人之所以为人，

不仅仅是因为我们能够思考、能够做事，更因为我们能够交流，能够理解彼此的言外之意，感知那些停顿、犹豫和欲言又止。

我觉得 AI 也一样。

我们一直在努力让 AI 变得更聪明，却容易忽略了如何让它更自然地与人相处。

毕竟，未来的 AI 如果真的要成为我们的工作伙伴，它需要的除了强大的执行能力，还有理解我们、与我们自然交流的能力。

让 AI 学会做事很重要，

让 AI 学会与人相处，同样也重要。

而MOSS-Live，或许就是走向这个未来的重要一步。