智能手机长期以来一直提供语音转文字转录功能，但手语转文字却并非如此。随着 Pixel 11 系列的发布，这一局面正在改变，该系列标志着 DeepMind 全新手语转文字（SL2T）模型的首次亮相。Google 将该模型嵌入到 Gboard 和实时转录中，使听障及听力受损用户能够在以往需要打字的地方，随时随地用手语与手机互动。在实际应用中，这将为用户提供一种更快速、更自然的方式来搜索网页、撰写消息以及与 Google 的 Gemini 聊天机器人对话。
DeepMind表示：“聋人在手语、口语、阅读和写作方面的熟练程度存在很大差异，因此支持所有模态的访问非常重要。”“聋人可以从手语处理中受益，正如听人从口语处理中受益一样，此外，这项技术还为弥合聋人与听人社区之间的沟通鸿沟开辟了新的可能性。”
DeepMind在超过10万小时的多语种手语数据上训练了SL2T模型，其中约四分之一的数据集代表美国手语（ASL）信息。因此，该模型在发布时仅支持将ASL转录为英语。Google计划在未来支持更多语言和平台。
SL2T并不直接解析原始视频。相反，一个独立的设备端模型会将视频转换为一种由几何坐标构成的线框结构，然后发送至Google的服务器。该公司表示，这种设计旨在保护用户隐私。与以往的手语转文本系统不同，SL2T直接将接收到的线框翻译为文本，而不是生成所谓的“glosses”（手语词汇对照）。
DeepMind解释道：“Glosses无法捕捉手语中丰富的非线性特征，如非手动标记和空间构造。”“直接从地标特征进行翻译可以消除人为的词汇限制，并使翻译质量随数据量直接提升。”
尽管对ASL的支持是一个良好的开端，但DeepMind承认还有更多工作要做。全球有超过7000万聋人和听力障碍者使用大约200种手语进行交流。好消息是，由于SL2T同时使用多种语言进行训练，以便学习它们之间共享的底层结构，因此该公司在此方面已具备先发优势。