自然语言处理：人工智能继续进步的关键

自人工智能在1956年达特茅斯会议上被首次提出，让机器完成更多的智力工作成为了科学家一直努力的方向。其中一个重要的目标，就是希望机器读懂人类深奥的语言，并以人类习惯的方式进行更加自然高效的交流。而解决这个问题的关键技术就是自然语言处理。

在“人工智能”成为全球热门话题的今天，最活跃的当属自然语言处理。在计算机科学与人工智能领域中，自然语言处理是其中非常重要的一个方向。它作为一个桥梁，在计算机与人之间承担着沟通交流的重要角色。

1. 机器如何“善解人意”？

谈及各种各样的智能系统，大家都认为“善解人意”应该是一个最起码的条件，一个绕不过去的条件。实现它的一个重要的桥梁就是语言。

简单地说，自然语言处理（Natural Language Processing，简称NLP）就是用计算机来处理、理解以及运用人类语言（如中文、英文等），它属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。

由于语言是人类区别于其他动物的根本标志。没有语言，人类的思维也就无从谈起，所以自然语言处理体现了人工智能的最高任务与境界。也就是说，只有当计算机具备了处理自然语言的能力时，机器才算实现了真正的智能。

2. 自然语言处理的发展和挑战

早在计算机尚未出现以前，英国数学家图灵A.M.Turing便已预见到未来将会对自然语言处理研究提出新的问题。他指出，在未来我们可以“教机器英语并且说英语。”同时他觉得“这个过程可以仿效教小孩子说话的那种办法进行”。这便是最早关于自然语言处理概念的设想。

最早的自然语言理解方面的研究工作是机器翻译。1949年，美国人威弗首先提出了机器翻译设计方案。到了20世纪60年代，国外对机器翻译曾有大规模的研究工作，但当时的人们低估了自然语言的复杂性，语言处理的理论和技术均不成热。

迈入21世纪，我们进入了以互联网为主要标志的海量信息时代，这些海量信息大部分是以自然语言表示的，自然语言处理技术的应用趋势也发生了变化。

一方面用户要求自然语言处理技术可以精准地理解自己的需求，并直接给出最匹配的答案。另一方面需要自然语言处理技术可以与用户进行对话式搜索与智能交互。在这样的需求之下，对于自然语言处理技术的未来发展提出了很大的挑战。

1）需求识别。通过用户提出的复杂的基于情感式的语意模糊需求进行深刻分析，精确地理解用户的需求。

2）知识挖掘。通过海量网络数据与知识的挖掘分析，将各种结构化、非结构化、半结构化的知识进行组织与梳理，最终以结构化、清晰化的知识形式呈现给用户。

3）用户引导。与对话式智能交互相关，不仅需要根据用户的需求提供“建议”，还要“猜测”用户可能会有其他未想到、未提出的需求，从而“先人一步”为用户提供相关的扩展信息。

4）结果组织和展现。用户往往更青睐于直接的答案，答案的形式可以是唯一答案、聚合答案、图片、多媒体等。这要求自然语言处理技术能够将挖掘出的信息进行组织与整理，以条理化、简洁化、直接化的形式呈现给用户。

3. 自然语言处理的广泛应用

在人类探索智能化道路的各方尝试下，自然语言处理技术被广泛应用于互联网、金融、科研、生活的方方面面。

作为自然语言处理的重要应用，搜索引擎的出现和发展，大大改善了了人们获取信息的有效方式，逐渐成为人们获取信息的重要工具，并涌现出以百度、谷歌等为代表的搜索引擎巨头。

基于自然语言处理的中文（输入法如搜狗、微软、谷歌等输入法）成为计算机用户的必备工具，带有语音识别的计算机和手机也正大行其道，协助用户更有效地工作学习。

而在互联网金融领域，当量化交易分析师发现数字推测模型的局限性后，开始考虑引入新闻、政策、社交网络中的丰富文本并运用自然语言处理技术分析，将非结构化数据结构化处理，并从中探寻影响市场变动的线索。

率先使用自然语言处理技术的人工智能对冲基金的是2016年6月份在伦敦新设的对冲基金CommEq。CommEq的投资方法结合了定量模型与自然语言处理，使计算机能够如人类一样通过推断和逻辑演绎理解不完整和非结构化的信息。

这一技术也被广泛运用于风控与征信。通过爬取个人及企业在其主页、社交媒体等地方的数据，判断企业或其产品在社会中的影响力。此外将数据结构化后，也可推测投资的风险点。

同时银行内部有大量的文书与报告，是信贷经理与客户经理智慧和知识的沉淀，属于“沉睡的黄金”，如何利用自然语言处理技术对其进行自动化解析、关联与执行追踪，形成进一步的高价值数据资产，亦是当前银行大数据领域一大前沿热点。

结语：

在工业革命时代，人类需要探索物质世界的奥秘，由于物质世界是由原子和各种基本粒子构成的。因此，研究原子和各种基本粒子的物理学成为非常重要的学科。

在信息网络时代，由于信息网络主要是由语言构成的，因此，我们可以预见在不久的将来，研究语言结构的自然语言处理必定也会成为像物理学一样非常重要的学科。