腾讯混元已将实时语音模型Hy Realtime投入生产,应用于旗下AI助手元宝的语音通话。用户说话尚未形成完整句子时,模型可以结合音频和对话上下文识别意图,作出回应;遇到需要外部信息的问题,还能自行判断是否发起网络搜索。
Hy Realtime面向语音对话场景,处理用户的音频输入并生成语音回应,也支持唱歌请求。其工作方式把实时推理与搜索结合起来:既判断用户想问什么,也判断当前对话中已有的信息是否足以回答,再决定是否查询外部信息,而不是每次都依赖用户明确要求“搜索一下”。
这项能力针对的是自然交谈中常见的半句话和不完整表达。用户不必为了让助手理解而反复补齐句子、重新组织指令,助手则需要利用连续对话判断其真实需求。此次变化的重点,是让理解自发表达与选择信息获取方式在同一轮语音交互中完成,减少反复确认和重复提问。
目前,元宝语音通话已经使用这项技术,为用户提供实际交互入口。除问答与按需搜索外,唱歌请求也扩展了语音回应的形式,让同一通话场景能够承接信息查询和声音互动。据foro3d报道。

