课程介绍:
近些年,随着数据中台、大数据、机器学习、人工智能等高科技技术的不断发展,越来越多的企业开始着眼于整理自己的数据资产、挖掘自身的数据业务、开拓自己的数据产品。然而,由于各个企业自身的起点不同,有的是从开展简单的分析任务开始,有的是如何建设自己的数据中台。同时,这个过程中也遇到了诸多的难题与困惑,不知道如何更加有效地开展工作,未来的发展方向又在哪里。
本课程从实战的角度,讲解了不同阶段数据应用的建设思路,规划未来发展的路线图。最初,如何开展简单的数据分析任务,确定问题→数据清洗→数据建模→数据验证的设计套路,以及由粗到细挖掘有价值的数据的分析思路。然后,为了长期持久地分析应用数据,如何开展数据资产治理的工作,包括数据采集、ETL过程、建立数据仓库、形成数据集市、建设应用系统。并且,在这个过程中如何开展数据质量管理、数据血缘管理,等等。接着,如何在这样的基础上如何数据驱动、价值变现、形成数据产品,如数据风控、数字化运营、推荐系统、精准营销,这些系统的建设思路。更进一步,如何运用数据挖掘算法,开展数据预测、用户画像、机器学习等任务。最后,运用实际案例讲解,人工智能的系统建设,建设套路以及关键点与难点。
培训对象:
1、系统架构师、系统分析师、高级程序员、资深开发人员。
2、牵涉数据分析处理的运营、规划、设计负责人。
课程特色:
本课程注重实战,老师在数据分析与建设相关领域从业多年,收集了大量的真实案例,会针对项目过程中常见的问题进行汇总、研讨,并最终形成培训教程。通过大量的真实案例,详细地介绍了数据分析与建设过程中需要注意的要点以及难点,这些知识都是讲师十几年经验的总结。
研修内容:
第一章 数据分析
1、数据分析:挖掘数据潜在的价值
2、数据分析角色:数据经理、业务专家、数据分析师
3、数据分析套路:
确定问题→数据采集→数据清洗→数据建模→数据分析→模型验证
案例分析:某省宏观经济数据分析过程
3.1 数据采集与清洗及其遇到的难题
3.2 逐步细分的数据分析过程及其验证
3.3 数据分析结果应当具有指导与决策意义
第二章 数据治理
1、数据治理的意义
1.1 原始数据的质量极大影响分析结果的准确
1.2 原始数据需要不断地采集与整合才能长期用于分析利用
1.3 原始数据的升级变更大大加剧了数据分析的维护成本
2、数据治理的过程
数据采集→ETL过程→数据仓库→数据集市→数据应用
案例分析:增值税发票分析系统的数据治理过程
2.1 增值税发票数据的采集与ETL过程
2.2 增值税发票的数据仓库建设过程
多维数据模型:雪花模式 vs. 星形模型
数据仓库的分层:原始数据层、明细数据层、轻度综合层、数据集市层
面向主题的数据建模过程
2.3 数据仓库的质量管理与血缘管理
2.4 数据中台的概念与建设思路:自顶而下 vs. 自下而上
第三章 数据应用
1、数据中台的核心是价值变现
数据中台的核心:数据价值变现
2、数据应用
2.1 数据可视化
案例:网络运营商大数据监控系统建设过程
2.2 数据风控
案例:税务系统虚开发票风险监控系统建设过程
1)风控指标的设计过程
2)风控系统的架构设计
2.3 数字化运营
案例:用户行为分析与数字化运营的建设过程
1)采集用户行为数据
2)分析与展示用户行为数据
3)用户行为数据指导系统运营与决策
2.4 推荐系统
案例:某互联网的推荐系统建设
1)数据推荐算法:基于用户的推荐算法、基于商品的推荐算法
2)推荐系统建设思路与精准营销
第四章 数据挖掘
1、数据挖掘的原理
2、数据挖掘过程
1)经验模型 vs. 数据模型
2)逻辑回归与数据预测
案例:企业成长性预测模型的数据挖掘过程
3)分类算法与深度神经网络
案例:根据商品名称进行分类的建模过程
3、企业画像与数据标签
案例:企业征信的企业画像分析设计过程
1)数据标签的分类:属性标签、统计标签、算法标签
2)数据标签的设计:横向与纵向的数据融合表
3)算法标签的设计与数据挖掘过程
第五章 人工智能
1、人工智能的发展趋势
1.1 人工智能的设计套路:形成人工智能算法闭环
1.2 人工智能的设计困境:需要有数据中台支撑
1.3 人工智能的未来趋势:与5G和物联网相结合
2、人工智能的系统建设
案例分析:远程智慧诊疗大数据平台的人工智能建设
2.1 项目背景与系统规划
2.2 经验模式+数据模型的建设思路
2.3 形成人工智能算法闭环的系统规划
主讲专家:
范老师,航天信息前首席架构师,规模化敏捷SPC,哈工大软件工程硕士,软件架构及重构的客座讲师,独立咨询顾问。从需求分析、软件研发到项目管理、架构设计都有丰富的从业经验。先后参与了数十个国内大型软件项目,涉及国家财政、军工、税务、医疗等领域的大数据建设、风险防控与人工智能研究。互联网及大数据转型的实践者与倡导者。从事架构设计、软件重构、微服务、大数据方面的培训与咨询多年,包括中国银行、贝尔、西门子,Top100、Tid、SDCC、DDD、DevOps等业界顶级技术峰会的技术分享者。

