Apple发布ReALM系统，提升语音助手语境理解能力
Apple研究人员发布的一篇论文介绍了新型AI系统ReALM（Reference Resolution As Language Modeling）。该系统能够理解屏幕上对象的不明确指代，并结合语音与背景语境，实现更自然的语音助手交互体验。
ReALM利用大型语言模型，将复杂的指代消解任务转化为纯粹的语言建模问题。相比现有方法，其在性能上展现出显著优势。
核心原理：屏幕文本化重构
研究团队强调，让语音助手理解包括指代在内的语境至关重要，这是实现真正免提体验的关键。ReALM通过解析屏幕对象及其位置信息，重新构建屏幕以生成捕捉视觉布局的文本表示，从而有效应对基于屏幕的指代问题。
我们在不同类型的指代上取得了显著进步，最小模型在屏幕指代任务上的绝对性能提升超过5%，更大模型的表现明显优于GPT-4。
局限性与未来展望
尽管结果令人鼓舞，但依赖屏幕自动解析仍存在局限。在处理区分多个图像等复杂视觉指代时，未来可能需要引入计算机视觉和多模态技术。此外，受限于工作负载、延迟或计算资源，超大规模LLM难以在生产系统中端到端部署，专注于特定任务的专用语言模型更具实用价值。
此前消息称Siri的生产级AI支持版本或于2024年发布？此次新研究进一步印证了Apple正持续投入研发，致力于提升产品的对话能力与语境敏感度，Siri无疑是其中的重点方向。