Microsoft Bing推出大规模多语言拼写纠正模型Speller100,目前已覆盖100多种语言。针对用户查询中约15%存在拼写错误导致搜索结果不佳的问题,Bing构建了这一高精度、高召回率的系统。
A/B测试数据显示,启用Speller100后效果显著:
- 无结果页面数量减少高达30%;
- 用户手动重构查询次数减少5%;
- 用户点击拼写建议比例从个位数提升至67%;
- 页面整体点击率从个位数提升至70%。
Bing搜索结果拼写纠正升级
拼写纠正是Bing长期优化的重点。为提升包容性,Bing将服务扩展至100多种语言,并设定了与早期核心语种相同的高质量标准。此次发布标志着Bing在AI技术应用上的重大进步。
Speller100核心技术解析
零样本学习突破数据瓶颈
Speller100的核心在于零样本学习技术。与传统方案依赖特定语言标注数据不同,该技术使AI能在无额外训练数据的情况下准确纠错。这有效解决了低资源语言因数据匮乏而难以优化拼写规则的难题,实现了跨语言的自动迁移学习。
字符级深度学习与噪声函数
尽管自然语言处理进展迅速,但拼写纠正仍属独立任务。Bing将错误分为“非词错误”(词汇表外)和“实词错误”(语境不符),并受Facebook BART模型启发开发了专用深度学习方法。
不同于传统词级处理,Speller100采用字符级建模,并通过“噪声函数”模拟旋转、插入、删除及替换等常见拼写错误进行训练。该方法大幅降低了对人工标注数据的依赖,利用网络爬虫获取的常规文本即可支持数百种语言模型的预训练,使零数据语言的顶级候选词纠正召回率达到50%。
基于语言家族的跨语言迁移
针对50%召回率尚不理想的情况,Bing进一步利用零样本学习特性,基于语言家族间的正字法、形态学及语义相似性进行迁移预测。这种机制使得低资源或无资源语言的拼写预测更加高效精准。
Speller100在Bing的上线仅是开端,未来该技术将逐步推广至更多Microsoft产品中。
来源:Microsoft Research Blog

