点绿色语音图标开始收听

大家好,我是音智达信息技术有限公司售前顾问兼Qlik 产品经理 Leo LOU,今天我来为大家简单介绍一下敏捷BI和Big Data技术的整合。
首先,如果有对BI的发展历程还不熟悉的人,可以先浏览观视界过往语音中《商务智能的发展》,再次,我们有了这一基础之后,了解了企业自身所处的商务智能的阶段有一个初步的认识,那我们就可以开始进入到这次的正题:敏捷BI和Big Data技术的整合。

敏捷BI即现代BI,又或叫做BI 2.0,代表的产品如Qlik Sense,Tableau, PowerBI 等,他们的一大特点是提倡用户自助式的数据分析,一般,使用者只需要稍加学习就可以开始数据分析和数据可视化。
BigData即我们常说的拥有4V特征,即Volume(数据量大):采集、存储和计算的量大。Variety(类型繁多):种类和来源多样化。Value(价值密度低):数据价值密度较低。Velocity(速度快失效高):数据增长速度快,处理速度快,时效性高。Big Data生态下的产品众多,今天我们不着眼什么样的企业需求敏捷BI和Big Data技术,我们看在已经对这些技术有所需求的时候,敏捷BI和Big Data技术怎么样可以有效地整合,给我们的业务人员提供更加落地的数据分析环境。
我今天会以Qlik Sense和 Kylin 为例。Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。我们简单理解为它是Big Data架构下的OLAP解决方案,可以把敏捷BI已经无法靠自身处理的PB级别数据或者更高数据量在亚秒级处理完成,并可以支持Rest和ODBC输出方式。

特别声明,这里在分享中我所提到的是Qlik Sense,但如Tableau, PowerBI都可以有效通过ODBC方式链接Kylin.说回到Qlik Sense这边,要利用到Kylin超高的OLAP计算能力,Qlik Sense的数据对接方式需要稍作调整,需要用到Direct Query的方式,在脚本层面可以定义我们所需要的维度和度量,并可以用Native的Function直接使用到Kylin本身支持的Function.
这里需要特别注意,Direct Query是会真实抽取维度信息,并保存在这份分析中的,而度量的真实数据是不会被抽取过来,而是会通过用户在前端分析点选维度信息后,回传给Kylin,并快速计算出结果重新以及重新渲染可视化效果。这便是一个最简单的敏捷BI和Big Data技术的整合例子。
例子中,Qlik Sense几乎不保存数据,也几乎不需要利用到它本身内存式引擎的计算能力。Qlik的Big Data的解决方案有很多,Direct Query这只是一种方式,Big Data的生态也不仅是我们提到的Kylin。
时间关系我们今天的分享就到这里,我这里留下一些分享后的思考,大家可以在留言区交流。我们各自企业中用到了什么Big Data的技术和生态,企业中是如何和BI进行整合的。
One more things
数字化学会社群正在招募,旨在为数字化行业从业者、学习者和爱好者搭建一个交流平台。请仔细阅读下列分类,并准备名片。企业工程师优先入群。
加群方式:在公众号后台回复“加群”,按照步骤操作即可。
1、数字化学会(华为群)
2、大数据AI群
3、智能制造业群
4、数据分析师群
长按识别二维码,了解更多学会信息

