一、
课程目标
二、
课程简介
-
课程采用Python这一现代化编程语言，通过详细讲解Numpy和Pandas等数据处理库，带领学员深入了解大体量数据的读取、处理、清洗、重构、变换和分析方法。 同时，课程紧跟AI技术的发展，介绍如何利用AI工具进行数据分析和模型应用，帮助学员在大数据时代脱颖而出。 -
课程案例选择新颖，涵盖海关进出口数据可视化、特定公司数字技术专利筛选、新质生产力测算等多个实际场景，确保学员能够在真实数据处理中学以致用。每个案例都精心设计，聚焦当前行业热点，充分展示大数据分析的应用价值。
三、
课程大纲
第一讲：大数据分析基础
知识点：
Numpy库和Pandas库的基础方法
超大体量数据的文件读取
csv、excel文件读取
大体量文件分块读取与编码乱码问题
常见统计图的实现与可视化
Case1：海关进出口统计数据可视化。
（使用的库为Matplotlib或Pycharts，图表包括折线、柱状图、组合图等）
第二讲：大数据清洗与插补实战
知识点：
异常值与重复数据清洗
低频类别清洗
数据纠错与纠偏
缺失值插补方法
简单统计量插补
聚类插补
模型插补
Case2: 专利数据的多条件查询与处理
第三讲：数据重构与变换
知识点：
数据组合与轴向连接
数据融合与重塑
数据分拆与聚合
连续数据函数变换
对数变换
平方根变换
幂变换与Box-Cox变换
连续数据离散化
客观法与主观法
数据次序化
升降次序与秩计算
秩的缺失值处理
DataFrame中的秩
多分类数据哑变量化
定性数据数量化
顺序数据转化为得分
构造定性数据的平滑值
Case3：使用AI测算新质生产力发展水平（Numpy+Pandas+熵值法+AI工具）
注：AI工具推荐使用ChatGPT
第四讲：数据配平、数据缩放与数据归约
知识点：
不平衡数据配平方法
欠采样
过采样
混合采样
数据缩放方法
中心化
标准化
Min-Max缩放
Max-ABS缩放
Robust缩放
数据归约方法
变量选择（统计量、决策树模型、Lasso算法）
样本归约
Case 4：情感分析实战（投资者情绪与A股走势关系）
四、
教师简介
五、
课程时间
2024年07月20日-21日
六、
课程缴费
课程价格
早鸟价享立减300元，原价499，现在只要199元，可按照实际支付金额开具电子发票，并有如下优惠，购买前找“神奇女侠”领取优惠码。
优惠一
皮皮侠数据会员、超级会员，私聊实证会员客服，获取8折优惠码
优惠二
实证会员享四折
PPdata实证会员可在直播结束后免费学习录播课程
扫码进入小程序后，可在【我的】页面开通实证会员
扫码支付
为提高学术交流效率，本次课程采取实名制报名，购买后需要给客服提供单位+姓名+校园卡/员工卡信息。
七、
课程售后
课程发票
联系“PPdata财务”（扫码添加）在30天内开具，,可开具名目为“技术咨询费”、“教育咨询费”、“会议费”等。
课程通知
提供加盖公章的课程通知扫描件，若有需要特殊模板，请联系“神奇女侠”（微信号ppman008）提供电子版文件进行开具。
课程退款
在课程未开始前，接受“7天无理由退款”，由于是知识付费，一旦直播课开始后，不接受退款。退款请联系“神奇女侠”（微信号ppman008）。
