

【荐读】基于柔性粒度的文本摘要自动化技术创新研究

汉斯出版社

2021-10-28

导读：新一代泛在网的高速发展促使信息数据呈现爆炸式发展。

基于柔性粒度的文本摘要自动化技术创新研究

Research on Innovation of Text Summarization Automation Technology Based on Flexible Granularity

作者：

涂著刚, 李正军, 杨敏：贵阳高新数通信息有限公司，贵州贵阳

关键词:

文本摘要自动化；子词；字节对编码；粒度；Text Automation；Sub Words；Encoding Byte Pairs；Granularity

项目基金：

《基于自然语言处理技术的招投标公共服务平台研究与应用推广》，2020 年度贵阳市国家创新城市 “百城百园”行动项目，贵阳市科技局(筑科项目[2020] 22 号)。

原文链接：

https://doi.org/10.12677/CSA.2021.1110258

基于柔性粒度的文本摘要自动化技术创新研究

(节选)

新一代泛在网的高速发展促使信息数据呈现爆炸式发展，截至2021年6月，中国网民规模达10.11亿，较2020年12月增长2175万，互联网普及率达71.6%；在各类信息中，最常用的文本数据类型呈指数级增长，因此如何快速准确地定位目标文本数据，成为现阶段持续研究的热点和难点。

针对当今的文本摘要模型难以生成集外词以及缺乏对单词之间的联系进行有效建模的问题，在汉斯出版社《计算机科学与应用》期刊中，有论文提出了一种基于改进子词单元的生成式文本摘要模型。主要创新点集中在使用改进的子词分割算法将一个完整的单词分割成不相交的子词单元，实现同一含义但不同形态单词之间的联系加强，例如受单复数、时态影响的单词，有助于模型对单词之间的联系进行建模。同时，通过粒度更小的子词单元构成集外词，从而更好地体现单词之间的联系，缓解集外词难以生成的问题。

Gigaword数据集上各模型的实验结果表明，使用原始子词分割算法，模型取得了37.71(ROUGE_1)、18.43(ROUGE_2)和34.87(ROUGE_L)的结果；使用改进子词分割算法，模型取得了37.92(ROUGE_1)、18.94(ROUGE_2)和35.05(ROUGE_L)的结果。分别在ROUGE_1上提升了0.21、在ROUGE_2上提升了0.51、在ROUGE_L上提升了0.18。