大数跨境

Bing在全球范围内推出大规模拼写纠正功能

Bing在全球范围内推出大规模拼写纠正功能 搜索引擎报
2021-02-14
0
导读:Microsoft Bing正在全球超过100种语言中推出其大规模拼写纠正模型。

Microsoft Bing推出大规模多语言拼写纠正模型Speller100,目前已覆盖100多种语言。针对用户查询中约15%存在拼写错误导致搜索结果不佳的问题,Bing构建了这一高精度、高召回率的系统。

A/B测试数据显示,启用Speller100后效果显著:

  • 无结果页面数量减少高达30%;
  • 用户手动重构查询次数减少5%;
  • 用户点击拼写建议比例从个位数提升至67%;
  • 页面整体点击率从个位数提升至70%。

Bing搜索结果拼写纠正升级

拼写纠正是Bing长期优化的重点。为提升包容性,Bing将服务扩展至100多种语言,并设定了与早期核心语种相同的高质量标准。此次发布标志着Bing在AI技术应用上的重大进步。

Speller100核心技术解析

零样本学习突破数据瓶颈

Speller100的核心在于零样本学习技术。与传统方案依赖特定语言标注数据不同,该技术使AI能在无额外训练数据的情况下准确纠错。这有效解决了低资源语言因数据匮乏而难以优化拼写规则的难题,实现了跨语言的自动迁移学习。

字符级深度学习与噪声函数

尽管自然语言处理进展迅速,但拼写纠正仍属独立任务。Bing将错误分为“非词错误”(词汇表外)和“实词错误”(语境不符),并受Facebook BART模型启发开发了专用深度学习方法。

不同于传统词级处理,Speller100采用字符级建模,并通过“噪声函数”模拟旋转、插入、删除及替换等常见拼写错误进行训练。该方法大幅降低了对人工标注数据的依赖,利用网络爬虫获取的常规文本即可支持数百种语言模型的预训练,使零数据语言的顶级候选词纠正召回率达到50%。

基于语言家族的跨语言迁移

针对50%召回率尚不理想的情况,Bing进一步利用零样本学习特性,基于语言家族间的正字法、形态学及语义相似性进行迁移预测。这种机制使得低资源或无资源语言的拼写预测更加高效精准。

Speller100在Bing的上线仅是开端,未来该技术将逐步推广至更多Microsoft产品中。

来源:Microsoft Research Blog

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2933
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.4k
粉丝0
内容2.9k