

该团队于 11 月 14 日在《自然电子》杂志上发表了他们的研究成果。该概念验证设备的代码可供其他人使用。研究人员正在创建一家初创公司,将这项技术商业化。
“人类不擅长通过声音感知距离,特别是当周围有多个声源时,”资深作者、华盛顿大学保罗·艾伦计算机科学与工程学院教授 Shyam Gollakota 说道。“在喧闹的餐厅等场所,我们专注于周围人的能力可能会受到限制,因此到目前为止,在可听设备上创建声音泡泡还是不可能的。我们的 AI 系统实际上可以了解房间中每个声源的距离,并在 8 毫秒内在助听器上实时处理这一距离。”
研究人员使用市售的降噪耳机制作了原型。他们在头带上固定了六个小麦克风。该团队的神经网络(运行在附在耳机上的小型板载嵌入式计算机上)跟踪不同声音到达每个麦克风的时间。然后,系统会抑制来自气泡外部的声音,同时播放并稍微放大气泡内部的声音(因为降噪耳机会物理地让一些声音通过)。
“我们之前开发过一个智能音箱系统,我们将麦克风分布在桌子上,因为我们认为麦克风之间需要有相当大的距离才能提取有关声音的距离信息,”Gollakota 说。“但后来我们开始质疑我们的假设。我们是否需要很大的距离来创造这个‘声音泡泡’?我们在这里展示的是,我们不需要。我们能够仅使用耳机上的麦克风来做到这一点,而且是实时的,这非常令人惊讶。”
为了训练系统在不同环境中创建声音泡泡,研究人员需要在现实世界中收集基于距离的声音数据集,但目前还无法获得。为了收集这样的数据集,他们将耳机戴在人体模型头上。机器人平台旋转头部,同时移动扬声器播放来自不同距离的噪音。该团队使用人体模型系统以及 22 个不同室内环境(包括办公室和生活空间)中的人类用户收集数据。
研究人员已经确定该系统之所以有效有几个原因。首先,佩戴者的头部会反射声音,这有助于神经网络区分不同距离的声音。其次,声音(如人类语音)有多个频率,每个频率从源头传播时都会经历不同的相位。研究人员认为,该团队的 AI 算法正在比较每个频率的相位,以确定任何声源(例如说话的人)的距离。
苹果 AirPods Pro 2 等耳机可以放大佩戴者前方的人声,同时降低部分背景噪音。但这些功能的工作原理是跟踪头部位置并放大来自特定方向的声音,而不是测量距离。这意味着耳机无法同时放大多个扬声器的声音,如果佩戴者将头转离目标扬声器,耳机就会失去功能,并且在降低扬声器方向的响度方面效果不佳。
该系统已接受过室内训练,因为在室外获取清晰的训练音频更加困难。接下来,该团队正在努力让该技术在助听器和降噪耳机上发挥作用,这需要一种新的麦克风定位策略。
免责声明:
交流更多AI/Web3/Meta相关知识
近期热点
2024-10-13
2024-10-14
2024-10-1





