大数跨境

李海洲院士谈语音智能下一步 :让机器人知道自己应该听谁的话 | ACM MM 2026

李海洲院士谈语音智能下一步 :让机器人知道自己应该听谁的话 | ACM MM 2026 AI科技评论
2026-11-15
1
导读:从汉字“听”中的耳、目、心,到视觉线索、脑电信号与语音大模型,《Listening the Chinese Way》这场主题演讲探讨了机器如何像人一样主动选择倾听对象,并真正理解对方所说的内容。
从汉字“听”中的耳、目、心,到视觉线索、脑电信号与语音大模型,《Listening the Chinese Way》这场主题演讲探讨了机器如何像人一样主动选择倾听对象,并真正理解对方所说的内容。

    作者丨马晓宁 胡清文

    编辑丨岑   峰 

                                                                                                       

在嘈杂的餐厅里,我们能一边与朋友交谈,一边敏锐地捕捉到邻桌有人叫自己的名字;在多人讨论中,也能把注意力锁定在某一位发言者身上,暂时屏蔽其他声音。这种能力对人类而言习以为常,对机器却是不小的挑战。

11月12日,在巴西里约热内卢举行的 ACM Multimedia 2026 上,香港中文大学(深圳)人工智能学院院长、深圳河套学院语言模型与人机交互中心主任李海洲院士作了题为《Listening the Chinese Way》的主题演讲。

他从汉字“听”讲起,探讨人类如何综合调动听觉、视觉与认知能力来理解声音,并分享了团队在目标说话人提取、视觉引导听觉、脑信号解码及语音大模型等方向的最新进展。

整场演讲围绕一个核心问题展开:在多人交谈的环境中,机器能否像人一样主动选择倾听对象,并真正理解对方在说什么?

汉字「听」里的倾听智慧

演讲从汉字“听”开始。这个字可以追溯到约3000年前的古文字。拆解其字形,不仅有耳,还有目与心:耳朵负责接收声音,眼睛帮助定位声源、将注意力聚焦于目标人物,心则承担思考与理解。

为什么“听”还需要眼睛?课堂上,老师经常提醒学生要看着老师听讲。因为当我们看向一个人时,注意力也会随之集中到他身上。视觉不仅能帮助我们捕捉说话者的唇动,还能让我们预判谁即将开口。

“心”则代表理解。中国传统观念认为心是思考的所在,英语中也有“remember by heart”这样的表达。可见,人类很早就意识到:倾听不只是接收声音,更离不开思考。

李教授将这种理解与美国心理学家William James论述的Apperception(统觉)联系起来。它指的是将新的感官输入与已有的记忆和经验相结合,从而理解外部世界。

日常经验就能印证这一点。人们听别人讲话或阅读文字时,未必真正接收到了全部信息。即使注意力短暂分散、漏掉几个词,大脑仍能根据上下文和已有知识补全内容。我们以为自己听到了完整的话,实际上其中一部分来自记忆。

这种补全依赖于不同层次的记忆:短时间内遗漏的声音,可以借助工作记忆和上下文补齐;长期积累的语言与世界知识,则帮助我们理解不完整的信息。

更进一步说,人类的耳朵也不只是一个麦克风。声音从外界传入大脑,是自下而上的信息传递;与此同时,大脑也会反过来向感官发出指令,调节我们听什么、不听什么,这是一种自上而下的主动控制。

由此,李教授提出了一个贯穿整场演讲的观点:倾听不是被动地接收声音,而是耳朵、眼睛与心智共同参与的主动过程。

机器为什么不会主动倾听?

多人同时交谈时,人类通常能够把注意力集中在某一个人身上。如何实现这种选择性倾听,在听觉研究中被称为Cocktail Party Problem,即鸡尾酒会问题。

相关研究可以追溯到20世纪50年代。当时,航空管制人员需要通过无线电同时接收多架飞机的信息,研究人员由此开始关注:人类如何在多路声音中选择性地处理其中一路。

人类具备这种能力,机器却还不够成熟。普通语音识别系统在单人讲话时表现良好,一旦多人同时开口,就很难判断该识别谁的声音。因此在餐厅、酒店等场景中,机器人往往需要用户转过身来,正对着它讲话。

这不只是降噪问题。传统降噪技术主要解决如何去除背景噪声,但在多人场景中,干扰本身往往也是人声。目标说话人提取(Target Speaker Extraction,TSE)要解决的,就是当多个人的声音混合在一起时,如何根据指定线索,提取其中某一个人的语音。

李教授团队的研究正是围绕这个问题展开:机器需要的不只是听清楚,还要知道自己应该听谁。

从声音到视觉:锁定目标说话人

最直接的办法,是为机器提供一段目标人物的参考语音。早期的目标说话人提取研究采用深度学习模型,同时输入混合语音与参考语音,通过说话人编码器提取特征,再由模型生成Mask,筛选出目标人物的声音。但在真实环境中,机器人未必事先掌握每个人的声音样本。

为此,李教授团队进一步引入团队Memory Bank(记忆库):机器人初次接触某人时,即可利用当时采集的语音建立说话人特征并保存下来;此后即使对方在环境中走动,也能借助历史信息持续追踪其声音。

除了声音,视觉信息也能为机器锁定目标说话人提供重要线索。演讲中展示了一段两人激烈讨论的视频。原始画面里,两个人的声音交叠在一起,很难听清各自说了什么;而系统只需框选其中一人的面部,就能从混合语音中提取出对应的声音。

视觉线索的作用并不局限于唇部动作。人在开口之前往往会有一些预备动作。通过观察面部表情和身体动作,系统可以预判谁即将发言,并提前将注意力转向对方。此外,视觉信息还能提供场景和语义背景,辅助理解听到的内容。

如果面部被遮挡,视觉信息还能引导听觉吗?

针对这一问题,李教授与学生进一步探索了身体姿态和手势等线索。实验表明,即使面部被遮挡,肢体动作依然有助于提取目标说话人的语音。尽管不同国家和文化背景下的人们肢体表达习惯各异,但身体动作与语音通常具有一定的时间同步性,模型正是利用这种同步关系融合视听信息,实现目标声音的提取。

团队还进一步拓展了目标提示方式:用户既可以通过文字描述指定目标,如“男声”或“女声”,也可以提供参考音频或人物照片,帮助系统建立声音与特定人物之间的关联。

从参考语音、面部图像、身体姿态到文字描述,机器识别和定位目标说话人所能利用的线索越来越丰富,也让目标说话人提取从单一的声音匹配逐步走向多模态信息引导。

从外部感知到脑电解码:识别听觉注意

在声音与视觉之外,李教授将研究进一步延伸到大脑:能否直接通过脑信号,判断一个人正在关注谁?

随着年龄增长,人的听力未必明显下降,但在多人同时交谈的环境中,分辨不同声音的能力却可能减弱——听得见,却不一定听得清自己真正关注的那个人。

由此,团队提出 Neuro-steered Hearing(神经引导听觉)的研究方向。系统通过EEG信号记录大脑活动,解码其中与听觉注意相关的信息,并将解码结果作为控制信号,引导模型提取目标说话人的语音。

现场演示中,两人同时讲话,佩戴脑电设备的参与者先后将注意力转向不同的说话人,系统提取的声音也随之切换,整体处理延迟约200毫秒,已接近实时。

李教授希望,未来这项技术能够集成到助听设备中,让使用者在嘈杂环境里自主选择想听的声音。它不仅有望帮助听力受损人群,也可能成为普通人日常交流中的智能辅听工具。

不仅听见,还要听懂:语言知识与语音大模型

如前所述,人类能够借助已有知识补全残缺的声音信息。受到这一认知机制的启发,李教授团队也开始探索将语言知识引入语音提取,让机器不仅关注声音信号,还能利用语言规律辅助理解。

团队主要探索了两种思路。

一种思路是在语音提取过程中引入语言知识,让模型能够根据目标语言筛选声音。

演讲展示了一段德语与英语相互重叠的电视节目:画面中的人物在说德语,电视台又叠加了一段英语解说。对于想听清德语原声的用户,系统可以从混合声音中只提取德语部分。

值得一提的是,该模型仅有约100万至200万个参数,并非大语言模型,却已经能够实时运行。

另一种思路,则是将语言模型作为训练约束,让语音模型在学习声学特征的同时,也学习语言本身的规律。

传统语音分离模型主要关注信号能否被准确恢复,但信号质量高并不意味着语音内容一定清晰、易懂。团队尝试在训练过程中引入语言模型,使系统在关注声学特征的同时,也兼顾语音内容是否符合语言规律。

相关工作 ELEGANCE 利用语言模型为音视频目标语音提取提供指导。语言模型只在训练阶段参与,推理时可以移除,因此不会增加实际运行成本。

在此基础上,团队进一步探索目标说话人提取与语音大模型的结合。

TSE-Omni 尝试统一音频与视觉信息,使模型能够依据人物、声音等多种线索提取目标语音;同时,模型还会利用历史预测结果构建目标说话人信息,在视觉线索受到干扰时,借助已有的语音预测进行补偿。

另一个方向是 TS-Encoder(Target-Speaker-Aware Speech Encoding)。这项研究将目标说话人信息融入语音编码,再交由语音大模型处理,使大模型能够更准确地接收指定说话人的语音信息。

在 Libri2Mix clean 测试集上,基础 Speech LLM 的词错误率(WER)为70.55%,采用 WeSep 级联方案后降至12.53%,而 TS-Encoder 进一步将其降至10.67%。

这体现了团队正在探索的一个新方向:不再止步于从混合声音中分离出某个人的语音,而是让语音大模型能够准确感知目标说话人,并进一步完成语音识别与内容理解。

让机器人学会主动倾听

演讲最后,李教授展示了将上述研究应用于真实机器人的尝试。

在多人交流场景中,机器人需要先确定该关注谁,再结合声音与视觉信息持续追踪目标人物。演示中,机器人能够识别画面中的人物,并用绿色框标出当前的关注对象;当周围多人同时讲话时,它可以选定其中一人的声音进行处理。

现场有观众提问:机器人应该主动与谁交流,又该如何判断对方的意图?李教授介绍,目前系统主要依据一些初始线索作出判断,例如位于画面中央的人,或音量较大、较为突出的说话人。机器人先据此确定目标并持续追踪,一旦发现判断有误,再进行调整。这仍是一种初步的选择机制,但已让机器人具备了主动倾听的雏形。

也有观众关注这项技术在听觉辅助领域的应用,询问脑电解码能否帮助听觉处理障碍人群更好地分辨复杂环境中的声音。李教授表示,团队正在推进脑电设备的小型化。目前实验使用的设备有128个电极,但若仅针对听觉注意进行解码,实际上只需在耳周布置约10个电极。团队正探索将相关技术集成到耳机或助听设备中,推动其走向实际应用。

结语

从汉字“听”中的耳、目、心,到声音、视觉与脑信号的多模态协同,再到语音大模型与机器人,整场演讲展现了语音智能从被动感知向主动倾听与理解的发展探索。

倾听从来不只是接收声音,更是主动选择、持续关注与理解信息。对机器而言,听见只是第一步,知道该听谁、理解对方所表达的内容,才是迈向自然人机交互的关键。

【声明】内容源于网络
0
0
AI科技评论
聚焦AI前沿研究,关注AI工程落地。
内容 9047
粉丝 0
AI科技评论 聚焦AI前沿研究,关注AI工程落地。
总阅读319.2k
粉丝0
内容9.0k