大数跨境
0
0

数据分析与工具的关系:“万剑归宗”

数据分析与工具的关系:“万剑归宗” 数据皮皮侠
2019-10-02
0
导读:以前看武侠,独孤求败一生所用四把剑:第一柄,凌厉刚猛,无坚不摧,弱冠前以之与河朔群雄争锋。第二柄,紫薇软剑,

以前看武侠,独孤求败一生所用四把剑:

第一柄,凌厉刚猛,无坚不摧,弱冠前以之与河朔群雄争锋。

第二柄,紫薇软剑,三十岁前所用,误伤义士不祥,乃弃之深谷。

第三柄,重剑无锋,大巧不工,四十岁前使之横行天下。

第四柄,四十岁后,不滞于物,草木竹石,均可为剑,自此精修,渐进于无剑胜有剑之境。————特别喜欢"重剑无锋"!


数据分析的重要价值

     随着新一轮科技(5G技术、AI、工业互联网及大数据)的崛起与冲击,人类社会可能已经进入一个高速发展的快车道。以前数据分析是学术圈的研究问题的重要手段,但现在数据分析已经成为企业、个人甚至文科生的必备技能,例如,历史研究有量化历史,文本分析等等。数据的价值也被前所未有的深度挖掘即所谓的数据挖掘。有人甚至把数据提高的生产要素的重要地位。数据自身也在每天还海量的速度在积累和沉淀即自我迭代,越来越多的人力资本投入到相应的数据科学领域。数据分析也将有其广义的定义,不仅仅是数据的统计性描述,关联分析、聚类分析等,它将会成为一门科学即数据科学,像英语,计算机科学等一样,成为一门应用性科学,它可以应用到不同学科领域,例如数据可视化、大数据存储等。基于数据分析的重要性,其分析工具和分析效率的不同也将体现分析人员的层次。


工具:计算机语言的力量

       在数据分析的价值推动下,数据分析工具也是越来越多的,例如,Excel就是一个非常流行的数据分析工具。本文主要说一些专业的数据分析工具,包括用于数据分析的计算机语言。No.1:Python语言,这是一种非常流行的计算机语言,它集成了许多其他语言的优点,容易上手,通过短期持续学习就可以有所小成,应用普及的速度非常快,号称宇宙第一容易语言,其与其它语言进行粘合容易,也称为胶水语言。No.2:R语言,R语言号称统计学高端人士使用的语言,具有优良的统计学研究人员传承的传统,是统计分析的重要语言,也像Python一样是自由开放的语言。No.3:Matlab,其是做科学计算的一个重要集成平台,非常适合矩阵计算,工程学领域的人员必选工具,尤其它集成了simulink,许多宏观经济研究人员也使用matlab写了大量宏观计量模型,最有名的就是用于DSGE模型分析的Dynare包。No.4:Stata,凡是做经济学研究的基本上都知道Stata软件,它可以做统计分析,重点是做微观实证研究,但是也有一下时间序列分析、空间地理分析的软件包,最新版也可以做DSGE分析了。No.5:Spss软件,一个管理统计领域用的软件,虽然它是一个专业的傻瓜式工具,但Spss的集成功能非常好,已经可视化建立神经网络模型(NN)。No.6:C / C ++/C# 等 C系计算机语言,这类更偏向于专业计算机科学人员的开发语言,作为一个数据分析或科学计算的人员就没有掌握的必要了。No.7: Fortran是一种公式翻译语言,它是世界上最早出现的高级计算机编程语言,由于其计算速度,被广泛应用于科学和工程计算领域,宏观经济领域的前辈们使用它的比较多。No.8:Julia语言,这是一个新兴的语言,它是一个面向科技计算的高性能动态高级程序设计语言,2012才发布第一版,有很强的平行式和分布式处理功能,而且它的速度是matlab的10倍以上。可以说它将是未来处理数据分析的一个新星,但目前仍然有很多坑。在数据挖掘领域也有一类分析工具,比如Rapid MinerIBM SPSS ModelerWeka等等,这些工具对数据分析也是各有千秋。有些商业化的数据分析工具是更加符合市场需求的,当然,还有许多专业的计算机语言,我在这里并没有罗列,也不可能全部描述。

       

 谁为数据分析的利器?


     倚天不出,谁与争锋?在数据分析领域中有没有这么一个利器,掌握了它就可以纵横数据科学领域?当然可以说没有,因为所有的工具都是以应用为目的,以效率为目的的,如果Excel能解决的问题,为什么要用C 语言来完成呢?我在写这篇文章时也是这么想的,所以叫万剑归宗,但是写着写着,觉得不是这个道理。因为专业化,因为高效率,因为群体规模经济,因为切换的成本等等,每个数据分析员一定是专注使用一种数据分析的工具,那样他才会越来越强,越来越专业,才能到达:渐进于无剑胜有剑之境! 每一种数据分析工具都是一种商品,它需要市场占有率,需要被发展,需要被完善,或者更准确的说每一数据分析工具都是一个生命,有的工具是新生的时代宠儿,有的工具已经步入老年,随时进入历史长河,他们像人类一样,在竞争着,在发展着,在完善着,也在淘汰者,而选择它们的使我们人类伴随着科学发展的抉择。     


【声明】内容源于网络
0
0
数据皮皮侠
社科数据综合服务中心,立志服务百千万社科学者
内容 2137
粉丝 0
数据皮皮侠 社科数据综合服务中心,立志服务百千万社科学者
总阅读16
粉丝0
内容2.1k