搜狗唇语识别，“读”懂你的声音~

与语音识别不同，唇语识别是基于机器视觉与自然语言处理于一体的技术，不用听声音，仅靠机器视觉识别说话人唇部动作，就能解读说话者所说的内容，因此在研发难度上也比语音识别大得多。

得益于搜狗自然语言处理方面的强大优势，搜狗首创了复杂端到端深度神经网络技术进行中文唇语序列建模，通过数千小时的真实唇语数据训练，建立了10万词以上的词汇表，并取得了不错的识别效果。

具体而言，搜狗通过摄像头从图像中连续识别出人的唇形，提取说话人连续的口型变化特征，然后将这些唇语特征放入唇语识别模型进行解码，从唇语文本数据到唇语语言模型进一步获取发音单元，最终输出文字。

目前，搜狗在非特定人开放口语测试集上，搜狗唇语识别系统的通用识别准确率在60%以上，超过google发布的英文唇语系统50%以上的准确率；而在垂直场景下，如车载、智能家居等场景下已经达到90%的准确率。

在未来场景落地上，搜狗唇语团队将关注两方面，一方面可以和语音识别技术相结合解决远场环境下的语音问题，另一方面唇语识别作为人机交互的形式之一，辅助语音交互及图像识别，在日常生活、安防、公益等各个领域实现广泛应用。

▶  噪音较大对语音识别产生干扰的环境；

▶  安保领域；

▶  服务于听障、失语人士，帮助他们更好地理解和表达自己。

在央视《人工智能改变生活》系列的访谈中，搜狗CEO王小川解释了搜狗研发唇语识别的初衷：是因为搜狗搜索和输入法其实都是在和语言打交道。一方面是帮助人们用语音表达，另一方面是通过语言获取互联网上的信息，但在一些嘈杂，甚至无声的环境里，语音所能发挥的作用是有限的，于是在这种情况下，我们就需要发展基于视觉的识别能力。