本文版权归中国移动通信集团江苏有限公司所有，作者：赵雨
✏️ ✏️ ✏️
“元宵夫子庙灯会人山人海，不过幸好有实时流量管理和警力配备调度，游玩更安全”
“全民旅游风气日渐兴盛，下一个小长假去哪里玩呢，先查一下景区景点客流预报”
“人情往来新风尚，春节期间有多少人在用手机发红包？”
“每年315都要打假，人们的维权意识如何？”
……
以上都是江苏移动 “智慧洞察“大数据带来的实际应用，智慧洞察致力于运用大数据技术，服务政府、行业和大众客户，积极响应国家大数据战略，让行业经营更精细，让人们生活更轻松！
大数据被公认为一种颠覆性技术变革，近年来通过技术进步不断改变生活、商业和全球经济。2015-2016年，从行业趋势来看，大数据开始从时髦热词走向应用实践，不再仅仅是个概念，而是更重视“价值”的凸显。市场需求也更加趋于理性和务实，商业企业非常关注成本和效益，政府则更看重实际案例和标杆。
江苏移动“智慧洞察”依托数据中心海量数据资产，基于云计算架构和大数据技术，以“价值运营”为目标，聚焦公共事业（如公共安全保障、城市交通规划）、行业服务（如旅游、金融）、生活服务（如智慧出行）三大领域，为旅游、交通、征信、公安、零售等行业客户，提供价值产品及服务，帮助行业客户实现精细化运营。未来将秉承企业使命，承担更多责任，带动产业链共同提升，创造更大社会价值。
从行业应用来看，位置、身份、社交、上网、通信、终端、支出与履约等几类数据需求最显著。从技术实现来看，在多样性数据基础上，可以通过时序处理、模型处理，挖掘更多数据规律，提供更有价值数据，时序数据（如位置序列）、行业标签（如“美食app偏好”）、客户画像（如“有车一族”）等深处理数据，都是应用广泛的价值数据。
基于位置的应用非常广泛，大到可以应用于城市规划中的人口流动规律、人群迁徙规律、区域职住分析等，小到可以应用于信用卡防大额盗刷，当信用卡被盗刷时，银行可以通过当前刷卡pos位置时间与报案用户号码当前所处位置进行匹配和判断。以位置数据为例，可通过基站定位、MR数据校正、wlan热点定位等多种方式，精确地判断用户所处的位置。
第一辑 海量数据
毋庸置疑，大数据应用的基础是“数据”。
我们的数据优势，体现在数据量。在谈论“大数据“之前，首先让我们明确一点：大数据并非过去我们习惯使用的随机样本，而是全量数据的集合，以及数据之间的关联关系。江苏移动目前数据裸存及可用存储均已达到PB级，企业数据中心建设日臻完善，接入数十个系统，数据接口将近2000个，并持续不断引入跨域数据。
体现在数据价值。运营商管道数据，是业界公认最全面、最具关联性的数据，与互联网大数据相比，具有更多优势：首先是全面性，几乎涵盖所有网络应用数据，特别是有核心价值的搜索、购物、社交、位置等数据；其次是关联性强，不局限于某个网站、某个应用数据；第三是永不过时，源源不断，网络应用变化一日千里，但是所有应用还是要走管道，无论什么商业模式出现，都能发挥其价值。从数据服务质量、数据价值衡量、数据互联互通和法律隐私保护等角度考虑，运营商是最有能力承担data exchange的角色。
体现在数据管理。数据要想驱动应用，必须满足几个条件：数据源不断有能量注入，数据有良好的新陈代谢，数据与应用/产品共生。我们采取了“数据资产化”策略。把江苏移动所有的数据当作资产进行规划、管理和运营。对资产进行分类，已有资产可以产生更大的价值，并不断积累新的资产。这个过程中将会产生数据治理，例如我们对海量数据实现数据资产分级存储、数据生命周期管理和溯源关系管理、数据价值分层管理等，夯实了大数据应用的良好地基。这些数据被安全保存，在开放和使用时会严格遵循国家法律法规，采取严密的隐私保护制度，应用于行业及社会经济进步。
第二辑 技术能力
海量的数据是基础，对数据的使用和挖掘是能力核心。针对大量规则数据、非结构化数据、实时流数据，都需要通过技术手段，进行甄别、处理、挖掘、关联、融合。我们已建立相对完善的大数据系统架构：建立统一实时采集中心，利用flume和ETL Plus等方式，实现多源多协议数据的实时融合采集；采用“hadoop并行处理+分级混搭存储+kafka消息中间件”数据处理技术；支持行为感知和事件触发，并形成有反馈的良性数据生态。
挖掘数据的潜在价值，让数据服务于应用，是大数据应用技术发展的新趋势。在大数据行业应用方面，我们采取“数据能力化”策略，支撑大数据稳定架构下，底层的复用和上层的解耦、深度挖掘和快速响应，构建密切结合应用的模型算法研究与数据挖掘能力，建设了丰富的客户标签体系。
首先，我们建立多层次的行业应用数据挖掘模型库。围绕行业需求理解，我们成立了专门的模型算法研究团队，构建多层次的分析模型体系，实施深度数据挖掘。按照模型类型分，可分为预测模型、效果评估模型、分析模型、识别模型、信用模型、客户细分模型、准确度提升模型等；按照应用深度分，可分为基础通用模型、普通应用模型和高级应用模型；按照应用领域分，针对交通网格应用、征信评估等大数据对外实际应用，研究建设了征信评估模型、网格与基站匹配模型、居民出行停留点模型、交通OD模型、位置交通适配模型、工作人口识别模型、特定网格人口流量特征规律模型、选址模型等。
在数据挖掘中，深入研究和灵活采用各类模型算法。常用算法包括用于常规统计和各种数据文本挖掘的分类模型、回归模型中的logistic算法、决策树算法；用于文本处理分类和异常检测中的one class svm算法；用于数据识别和降噪的MDL算法；用于关联分析的apriori算法；用于聚类分析的K-means算法；用于预测的ARIMA模型；用于特征过滤和抽取的NMF算法等等。
在实践中基于CRISP-DM标准数据挖掘实施流程，建立模型实施规范，并在模型实施中不断调优，提升模型质量。例如在研究道路流量流速测算时，为提高识别和计算额精确度，建模时通过算法首先识别区域覆盖的基站群覆盖和理论切换基站序列，通过匹配度概率模型计算基站与微区域匹配度，统计分析道路路径的实际发生基站切换序列，研究与理论基站的匹配情况，进而统计道路实际发生的流量。最终通过流量流速修正模型，对位置丢失数据、总量不全数据、道路模糊匹配数据等进行修正，提高模型精度。
丰富的标签体系，对客户实施持续画像。准确、生动的行业客户画像是大数据挖掘加工能力的有力体现。我们面向不同行业各类应用场景，提供20多个分类近2000多个标签，标签封装为服务形式，高效支撑行业客户调用需求。其中基础标签涵盖了客户个性化画像、个人信用、基本信息；生活类标签反映了客户在购物、餐饮、出行、住房、旅游、金融、娱乐等方面的特征及偏好；电信类标签反映了运营商角度对客户通信行为、价值、终端等维度的特征挖掘；交往圈类标签反映了客户社交人脉关系；行业标签则是面向零售、交通、旅游等具体行业，提供人群特征、客流规律、消费构成、访问热度等属性。
第三辑 行业产品
在大数据应用领域，拼的不仅仅是数据和技术，而是对行业需求和行业产品的理解及挖掘能力。
旅游景区应用需求：景区管理者/商家通过大数据，分析景区客流峰值，景区客流规律，节假日流量预测，知道来本景区的游客主要是从哪里来，有哪些特征，比如年龄层次等等，可以适时进行人群疏导、开展准确宣传。
旅游监管部门应用需求：旅游管理部门，如旅游局、旅委，在宏观层面对省级或市县范围内重点景区进行全局观测和实时监控，并结合大屏监控展现。在整体旅游规划、旅游景区综合管理等方面、景区节假日安保等方面，产生重要作用。
交通与城市管理应用需求：交管部门通过对城市交通的出行OD分析，实现区域和道路人流量的实时监控，城市居民日常出行与通勤情况分析。以主干道车流量监控应用为例，选择相应的主干道名称，如“盐仓桥-集庆门”路段，即可查看该路段分时段分流向的道路流量情况，即时选择规避拥堵路段。
公共安全保障应用需求：公安等安防部门基于位置大数据的网格洞察应用，对特定人群，比如疑似传销、外来人口，进行识别并实施监控预警，对所辖区域内的人口结构、人口流动性分布全面分析和掌握。
商超会员洞察应用需求：商超企业通过会员、访客洞察应用，可以掌握：门店到店客户都是从哪里来的；消费能力如何；有什么商品需求；在哪些小区范围发传单可以带来比较好的收益；刚刚过去的38妇女节，如果商超想向年轻的女性会员提供优惠信息，如何进行筛选和独立投放……
移动征信评估应用需求：在获得用户许可的情况下，银行、信贷等组织机构，可以从身份特征、通信特质、履约能力、人脉关系、客户画像等维度，综合评估个人信用情况，用于金融机构发放贷款、审核信用卡申请资质等。
……
结合对行业客户需求的理解，我们采取了“数据产品化”策略，通过行业产品体系构建和解决方案设计，提高大数据对外应用的实践能力；同时产品体系可扩展，覆盖不同行业大数据需求。
面向八大重点行业，提供14套解决方案，建设11个对外产品：分行业制定大数据产品体系和定制化解决方案，面向旅游、交通、征信、城市管理、公安、零售、互联网、房产八大行业提供包括实时客流监控、人群画像、网点选址、客户行为洞察、会员管理、金融验真、交通拥堵指数等在内的多样化解决方案，建设道路监控、OD分析、网格洞察、会员经营、公共安全监控、征信服务等11个产品。
第四辑 商业模式
海量数据、技术能力、行业挖掘，最终都需要匹配可行的商业模式，方能形成持续服务的动力和能力。我们一方面，探索不同的商业模式、应用模式，让技术成果能够落地并发挥作用；另一方面，积极邀请多方参与，保持大数据对外应用生机。
服务模式多样化，支撑客户个性化需求：对外提供SaaS（数据产品模式）、DaaS（数据接口模式）和CS（咨询服务模式）的大数据产品服务模式，探索PaaS（租户模式）第三方合作服务模式，全面满足各类客户的各级需要。
SaaS数据产品模式，是向行业客户提供标准化的大数据应用产品，并可根据行业应用场景和需求进行一定程度的定制。目前已有景区客源分析系统、营销指南针、智慧出行、道路监控等6个标准应用产品。
DaaS数据接口模式，将公司大数据能力封装为开放接口（OpenAPI），开放给行业客户进行订阅调用，可根据应用场景定制提供。比如已通过OpenAPI服务，支撑智慧旅游项目。
CS咨询服务模式，针对行业客户的数据需求、业务场景和运营模式，进行定制化的数据分析和挖掘，提供业务咨询。15年完成行业咨询报告16篇，发布社会热点分析报告30篇。
PaaS租户应用，是与合作方联合研发数据产品，江苏移动提供经过封装和脱敏的价值数据和开发环境，合作进行大数据分析开发。应用领域包括移动广告、移动征信等。
商业模式和计费方式灵活，支撑多种合作场景：按项目合作方式、开放平台方式、包年/包月服务方式、第三方合作方式，全面支撑各类客户的各种需要。
按项目合作方式：采用ICT项目定制支撑模式，针对行业个性化需求，提供定制化解决方案。结合大数据应用，同时提供江苏移动宽带、千里眼视频监控等产品，打包形成信息化整体解决方案。
开放平台方式：通过开放接口，将数据封装为服务，供行业客户调用。行业客户只需按照自己实际使用和调用量进行付费。
包年/包月服务方式：行业客户采取包年/包月的方式，享受江苏移动大数据产品及服务。
江苏移动“智慧洞察”，将继续探索和践行大数据对外技术运营，聚焦重点行业，致力于为行业客户提供更有价值的产品及服务，推动行业客户精细化运营的持续改善。后续我们还将对我们的行业产品进行更多深入介绍。欢迎各方人士前来合作，携手共行，创造更大社会价值。
最后，感谢大家对江苏移动大数据公众号“江苏移动智慧洞察“持续关注，欢迎大家对我们的工作提出宝贵建议和意见！
观点小结：
海量数据—>技术能力—>行业产品—>商业模式，构成了从数据能力到挖掘能力，到持续服务能力的大数据对外应用架构：
海量数据：海量数据资产的优势在于“海量”，在于“价值”，在于“管理”。
技术能力：对数据的使用和挖掘是能力核心。通过建立多层次行业应用数据挖掘模型库，深入研究和灵活采用各类模型算法，构建标签体系，对客户实施持续画像，让数据服务于应用。
行业产品：数据本身不产生价值，分析和利用大数据对外部客户产生帮助才是关键。在大数据应用领域，拼的不是数据和技术，而是对行业需求和行业产品的理解及挖掘能力。
商业模式：海量数据、技术能力、行业挖掘，最终都需要匹配可行的商业模式，方能形成持续服务的动力和能力。
