关注“东方投资”，关注东方资产股权投资部！“东方投资”，您身边的投资伙伴！请点微信右上角或者搜索微信号"DongFangInvestment"加入我们！--------------------------------------------
在金融行业中，客户关系管理、风险计量与管理、精准营销、交易执行、安全与反欺诈等理所需的业务分析都需要大数据分析与挖掘，而这些正是实现迅速和科学决策的核心基础。
大数据时代背景驱动的金融行业转型主要体现在实现严格有效的监管、机构精细化管理、业务创新提高竞争力等三大方面。而大数据技术正是实现这些目标的扎实基础。
大数据不仅为金融机构掌握客户全方位信息提供了可能，通过大数据技术分析和挖掘客户的交易和消费历史掌握客户的消费行为与习惯，并准确地预测客户倾向，有针对性地提供推荐和服务，能够提升客户满意度。另一方面，大数据技术能通过跟踪新闻、微博等典型的非结构化、半结构化数据捕捉政治、经济等方面的变化对市场的影响。这些非结构化数据、半结构化数据经过处理后能够转化成结构化数据，并参与到自动交易的决策辅助中来。
【金融大数据挖掘的核心技术】
数据挖掘的三大任务是分类、聚类、关联规则。由于不同的数据形式同这三个方面的结合又产生了一些交叉领域。
2007 年的IEEE 国际数据挖掘大会（ICDM）通过调查认定了10 种受到广泛认可的算法：C4.5、K-Means、SVM、Apriori、EM、PageRank、AdaBoost、KNN、Naive Bayes 和CART。常见的分类任务算法有：决策树、logistic 回归、神经网络、支持向量机、多目标线性规划等。
30 年前，J.Ross Quinlan 提出了决策树算法， 即ID3(Iterative Dichotomiser)。 Quinlan 后来拓展了ID3算法，即现在的C4.5 算法，逐渐成为各个新算法进行比较的基准。由于决策树便于理解，具有较高准确率，使这个算法在分类算法中占有了很高的地位。
Logistic 回归分析是一种二分类的多元回归方法，是判断某件事情是否发生的传统工具，在各个领域都取得了较为广泛的应用。
人工神经网络具有自学习和自适应能力，可通过预先提供的一批相互对应的输入—输出数据，分析掌握两者间的规律进行应用和预测。最流行的神经网络算法是20 世纪80 年代提出的向后传播算法。
支持向量机（SVM）和多目标线性规划（MCLP）都是基于最优化数据挖掘的方法。SVM 是由Corinna Cortes在解决小样本、非线性及高维模式识别中表现出很多特定优势，能够推广到各种分类问题。目前最优化数据挖掘方法已经在个人信用评分、客户流失管理、金融衍生品结算风险管理等金融大数据挖掘项目中成功应用。
聚类算法主要有层次化聚类算法、划分式聚类算法、基于密度和网格的聚类算法。K-means 方法将n 个对象根据它们的属性分为K 个簇，K<n。该方法试图找到数据中自然聚类的中心，以实现各个群组内部的均方误差总和最小的目标。
关联规则最为有名的应用是“啤酒尿布”的购物篮应用案例。而在金融领域中，借鉴这样的思想实现捆绑营销并非难事。关联规则算法中最流行的Apriori 算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法，能够找到所有支持度大于最小支持度的项集，即频繁项集。
【金融行业大数据挖掘模式与典型应用】
其实，数据挖掘的方法和技术就可以用于大数据时代企业决策模式的重新制定。其中最重要的方法之一是“跨行业数据挖掘过程标准”（CRISP-DM）。它是一个通用的数据挖掘框架，已普遍被许多数据分析的软件公司采用。在大数据背景下CRISP-DM 同样适用，只不过处理的是更大、更复杂的大数据。
人民银行个人信用评分模型就是大数据挖掘技术在风险管理中的典型应用。该信用评分模型系统称为中国评分（ChinaScore）。它由我国信贷结构的七组评分模型组成，目前在各大商业银行运行良好。该评分系统利用全国各大金融机构的所有个人信贷账户的住房贷款、汽车贷款、信用卡等的历史信息（人数超过6000 万，数据积累超过3 年），运用先进的数据挖掘和统计分析技术，通过对消费者的人口特征、信用历史记录、行为记录、交易记录等大量数据进行系统的分析，挖掘出蕴含在数据中的行为模式。
工商银行则运用大数据技术进行客户流失分析和管理。客户流失分析的目的是通过现有客户使用产品的情况及的各种信息，预测客户在之后一段时期会否流失，从而为其提供针对性的服务，实施挽留措施。在客户流失分析中，客户的特征主要由活期存款、定期存款、中间业务、贷款业务、贷记卡业务、国际贷记卡业务和客户基本资料等7类信息描述。其中包括客户使用各业务的产品特性、交易行为描述和客户自身的年龄性别等。
【金融大数据的未来新挑战】
随着金融大数据特征在大数据时代的日益明显，监管上和业务上的需求也越来越复杂，无论是对科研界还是实业界都提出了新的要求和挑战。
在银行业，大数据时代再次挑战了银行的数据驾驭能力。除了传统的结构化数据，来自物联网、互联网的非结构化数据将彻底颠覆银行收集各类数据的理念和现有的方法。而在处理数据方面，非结构化数据，例如客户录音数据等等难以用传统的方法描述、度量、计算，处理难度大。
在证券业，国内绝大部分的证券公司仍以关注宏观经济、行业动态、基本面数据、交易性数据等结构化数据为主进行分析。大数据时代，社交网络这一大类数据源成为价值隐藏的另一大宝库。文本挖掘提取等处理非结构化数据的方法让舆情分析结合现有的数据研究上市公司的走势成为可能。在客户分析上的探索，证券业要远落后于银行业，发展滞后。是否可以将产品的生命周期与客户的生命周期相结合，获取更多的数据来作为分析的基础？投资者购买什么样的证券产品是否除了客观个性特征外能够反映主观的风险容忍度和风险承担意愿？是否能够根据这样的划分设计定制化的产品？我相信这些都是将是大数据时代为证券业带来的新的增长点。
在保险业，过去是“样本精算”，大数据时代变成了“全量数据”。保险的本质内涵是理解风险并控制风险，在这一点上，大数据将颠覆整个保险业的商业模式。传统保险经营关注的风险维度，不足以反映世界的复杂性。以车险为例，目前的定价因素仅仅考虑了性别、年龄和职业，然而显然这样的认识远不能刻画一个人开车的风险。因此仅靠“样本精算”采用的大数定律远远不够，如何利用客户其他信息，包括网络上的、以及以后政府公开的数据这几个大数据的重要来源，达到个性化风险控制和定价是值得深思的问题。
资料来源：《金融电子化》2014年7月刊
-----------------------------------------
“东方投资”，您身边的投资伙伴！
关注“东方投资”关注东方资产股权投资部！
我们关注VC/PE,通过全资产管理深入介入大消费\节能环保\先进制造\资源等领域，通过打造综合金融超市概念，提供股权加债权，投资加保荐，境内加境外专业的一条龙服务。
如果您对我们或者该平台有任何的意见或者建议，请直接回复微信，我们将以最快的速度回复您。
东方投资的微信号是“DongFangInvestment",欢迎关注！