

数据智能未来的黄金十条

恺思睿思数据智能

2019-12-24

导读：点击蓝字关注我们我们正处于大数据和数字化转型的时代：数据无处不在。如果无法从数据中提取出知识和信息并加以有效

点击蓝字关注我们

我们正处于大数据和数字化转型的时代：数据无处不在。如果无法从数据中提取出知识和信息并加以有效利用，数据本身并不能驱动和引领数字化转型取得成功。如何让数据发挥它最大的价值？“数据智能”(Data Intelligence) 应运而生。

数据智能结合大规模数据处理、数据挖掘、机器学习、人机交互、可视化等多种技术，从数据中提炼、发掘、获取有揭示性和可操作性的信息，从而为人们在基于数据制定决策或执行任务时提供有效的智能支持，已成为推动数字化转型不可或缺的关键技术。

数据智能技术正在重塑传统的商业分析或商业智能领域。众多基于互联网的新型业务，包括搜索引擎、电子商务以及社交媒体应用等，从本质上就是建立和运作在数据智能的基础之上。

那么，数据智能的未来趋势在哪里？微软亚洲研究院从机器学习、计算机视觉、系统架构、图形学、自然语言处理等多个方向出发，预测出未来数据智能的10大热点。

①

在更高的语义理解水平上进行分析

为了更加智能地分析数据，需要对数据有更加丰富的语义理解。与知识图谱 (Knowledge Base) 不同，虽然数据分析中最常用的关系数据模型也是对实体和关系的建模，但是关系数据模型的建模是为查询和存储性能而优化的，往往丢失了大量语义信息。如何引入领域知识和常识型知识对于更好地理解数据至关重要。

如何从表格数据和其他容易获得的文本数据 (如web网页) 中自动获取语义信息来增强和丰富表格数据是一个需要研究的重要方向。

比如，确定表格中行或列的实体类型(包括人名、地名、机构名等命名实体以及时间、地址、货币等数据类型)。表格往往不具有文本中的丰富的上下文信息，因此表格中的实体识别不同于其他自然语言处理任务中的实体识别，十分具有挑战性。除了处理实体识别外，数据表格中实体关系的挖掘和分析也至关重要。充分挖掘实体之间的关联关系可以完成一些实体类型的推荐和回答数据分析的问题。

②

构造通用知识和模型的框架

人类对知识和方法能够举一反三，触类旁通。具体到数据分析领域，分析中用到的知识和模型需要在不同数据对象和分析任务之间共享和迁移。在机器学习领域，已经有很多相关工作，也提出了一些方法，比如迁移学习、多任务学习、预学习模型等等。要实现这个“举一反三”的目标，除了需要深入研究具体的机器学习算法，也需要从模型和知识的框架体系来思考，研究适合数据分析领域的通用知识和模型的原语体系，以及知识和模型的迁移共享的统一框架。

③

建高质量训练数据集和基准测试数据集

由于训练数据的缺乏，人工智能、深度学习等技术在数据智能领域的进一步应用遇到了很大的困难。正如ImageNet数据对于计算机视觉领域的研究起到了显著的推动作用一样，数据智能领域的研究也亟需建立起一整套公用的大规模、高质量的训练数据集和基准测试数据集。一旦有了丰富的训练数据，数据智能领域的很多研究，诸如自动分析、自然语言交互、可视化推荐等等，将会取得突破性的进展。

④

提供具有可解释性的分析结果

用户将不再满足于仅仅依赖黑盒式的智能、端到端地作用于整个任务，而需要更细粒度的、有针对性的、更透明的数据智能。例如，数据智能用于财务审计系统中，准确推荐最有风险的交易记录进行优先审查，以达到在最小化系统风险的前提下，最大化审计效率。在这类系统的研发中，需要构建可理解性强的模型。在推荐高风险交易记录的同时，尽量提供系统是依据哪部分信息、通过怎样的逻辑判断这是一条高风险交易的相关依据。这与过去通常使用的黑盒技术路线有了明显的变化，将成为今后技术发展的一个趋势。

⑤

人类智能和机器智能更加紧密融合

现有人工智能技术从本质上依然只是被动服从人类设定的既定逻辑然后自动地运行，归根到底还是无法突破人类传授的学习框架，没有创造力。因此在可预见的未来，数据智能将依然无法摆脱人与机器协作的模式，需要全面地总结人类在数据分析方面的智能和经验，便于转化为机器算法，系统化地集成到已有的智能系统当中。

⑥

强大的指导性分析成为主流

数据分析的核心目标之一便是指导行动，无论分析得有多好，如果不采取行动，那么分析的价值就不会得到实质的体现，这就是指导性分析的重要价值所在。

例如，根据详尽的分析，数据智能预测某品牌在接下来一个季度的销量会下滑10%。如果分析任务结束于此，那么数据智能并没有尽到全部的责任，人还需要根据后续分析结合自己的经验去搞清楚怎样才能减轻甚至避免潜在的销量下滑。相应的指导性分析可以是，如果想保持下季度销量不下滑，应该采取怎样的行动。指导性分析的结果可以是把某一类子产品的产量减少20%，同时把另两类子产品的产量各增加10%等等。

现在的数据智能技术在给出指导性分析的同时，并没有具备足够解释性的模型，无法提供充足的依据，从而不足以让人类用户充分信任自动推荐的结果。提供具有更好解释性的指导性分析是一个趋势。

⑦

基于隐私保护的数据分析更加成熟完善

通过从立法、技术、到用户参与等全方位的共同努力，隐私保护将被进一步纳入到未来的数据分析中。从技术层面, 应该确保个人数据由数据主体控制如何收集、管理、处理和共享，并在整个生命周期得到保护，同时应开发并部署保护隐私的数据处理技术，以便在保护隐私的前提下，数据得以处理并获得想要的结果。

⑧

智能分析助手得到普及

智能代理 (Intelligent Agent) 技术与数据分析技术的融合是一个重要的方向。在不久的将来，智能的数据分析助手能够帮助人类更加高效地分析和利用数据。

这些数据分析智能助手通过自然语言对话的方式与人交流数据分析的任务和结果，理解分析的背景和上下文，可以完成人类交给的特定数据分析任务 (根据分析的语义层级不同，可分为基本分析命令和高级数据挖掘任务)，也可以把具有商业价值的数据事实推荐给相关人类用户 (比如自动从数据中挖掘到的数据洞察)，并对某些数据事件做出智能判断和适当的反应 (比如自动对数据中需要注意的变化进行提示和警报)。这样的智能体还具有一定的学习能力，能够通过与人类分析师的对话交流积累特定领域的知识，从而能够更加具有针对性和更加智能地进行自动数据分析。

⑨

协作化的可视分析

随着各种沟通工具的兴起和普及，协作化的可视分析会成为热点。不同于传统的面对面、小规模的协作，新的协作分析往往是异步的和大规模的，人们在不同的时间和地点，使用不同的设备，对同一个数据进行可视分析。在此过程中，如何协调人们的协作？如何避免重复性的工作？如何保证不同人在不同的显示终端上看到的数据是一致的？如何共享各种信息？如何搭建一个高效的协作平台？这些都是需要解决的技术挑战。