平台经济与公司金融数据采集
一、课程背景
对于经管学者而言，科研数据对实证研究意义重大。各类经济管理数据以文本、图片、PDF等非结构化、异构型数据格式存储于海量的网页中。
因此我们从经管实证研究数据需求出发，帮助大家掌握爬虫方法，使得人工几十天整理的数据几小时就能采集完毕，提高二手数据采集整理效率千百倍：
1.1课程目标：掌握Python数据清洗&具备网页、小程序、APP经管数据采集能力
1.2课程特点：
易理解：以经管学术实证计量为导向，以文科生易懂方式讲解，10个实战案例
可复制：提供可复用代码块&案例数据
长期回放：腾讯会议直播，录播上线“PPdata Academy”供长期查看（至少2月）
全程答疑：赠6小时Python基础课（价值499）+答疑群+老师全程答疑
二、课程内容
模块一：爬虫原理 6小时
01.爬虫基础知识
• 请求库（request）
• 解析库（xpath、lxml、scrapy.Selector）
抓包工具（fiddler）
• Selenium
• App抓包辅助工具模拟器
02.回溯增量爬取、定期更新数据方法
Case1：视频平台数据（B站弹幕为例）
Case2：京东商城运营数据
Case3：好大夫医院运营数据
Case4：百度地图POI数据
Case5：高德地图人口迁徙日度数据
Case6：中国环境监测总站空气质量发布软件
模块二：典型案例 6小时
Case1：知网期刊论文信息
论文题名、论文作者、期刊来源、发表时间、被引量、下载量、论文PDF下载链接
网址：https://www.cnki.net/
Case2：国家企业信用信息公示系统公司工商信息
公司名称、公司类型、公司地址、经营状态、开始日期、批准时间、行业类别、城市、省份、经度、纬度
网址：https://www.gsxt.gov.cn/index.html
Case3：巨潮资讯网上市公司报告
以上市公司社会责任报告为例，可以获取任何报告
网址：http://www.cninfo.com.cn/new/index
Case4：百度搜索日度指数构建公众关注度数据
以各省上市公司名称搜索量为例，可以通过百度指数构建任何关注度指标
网址：https://index.baidu.com/v2/index.html
Case5：农批数据/新农村商网
该案例是爬虫微信端口一个事实记录新农商网的农村品价格数据，可以实时获取全样本农产品的价格数据。
网址：https://nc.mofcom.gov.cn/
Case6：船讯网
该案例是通过动态爬虫技术获取全球所有船只的航行轨迹数据。
网址：http://www.shipxy.com/
三、课程组织
3.1课程时间
2022年12月3-4日，直播完即上传录播“PPdata Academy”供长期回放（至少2月）
3.2 授课老师
刘航远，Python开发工程师，7年爬虫数据库开发经历。曾在国务院发展研究中心从事大数据平台开发工作，在北京国研网信息股份有限公司参与船讯港口数据库、工商企业数据库、全球顶尖智库的打造，在宁波三星医疗电气股份有限公司参与开发新闻资讯数据库、国内外电商数据智能分析系统、国家电网数据库等数据库。
3.3 课程缴费
（1）课程价格
按照链接价格为准，可按照实际支付金额开具电子发票。越早购买越划算，并有如下优惠，购买前找“神奇女侠”领取优惠码。
优惠一：会员/老学员/转发个人8折（可与团购优惠叠加）
——数据皮皮侠数据会员（购买地址http://www.ppmandata.cn/）直接享受8折
——之前购买过课程的老学员，直接8折
——非会员转发本推送到朋友圈2小时（不屏蔽），或转发到100人以上年级群并留言“非常有价值的爬虫课”
优惠二：贫困助学，对于家庭困难的学子，添加客服微信，提供学校困难认定结果，在前面所有优惠基础上再享受7折。
（2）扫码支付
为提高学术交流效率，本次课程采取实名制报名，购买后需要给客服提供单位+姓名+校园卡/员工卡信息。
3.4 课程售后
（1）课程发票：联系“PPdata财务”（扫码添加）开具，可开具明目为“技术咨询费”、“教育咨询费”、“会议费”等。
（2）课程通知：开课前会提供加盖公章的课程通知扫描件，若有需要特殊模板，请联系“神奇女侠”（微信号ppman008）提供电子版文件进行开具。
（3）课程答疑：本课程购买后请添加“神奇女侠”（微信号ppman008），提供单位，姓名，校园卡/员工卡等身份证明后邀请您进入课程答疑群。关于项目与报名如有问题，也请咨询ppman008。
（4）课程退款：在课程未开始前，接受“7天无理由退款”，由于是知识付费，一旦直播课开始后，不接受退款；对于没有Python语言基础的同学，赠送6小时Python语言基础录播课程，一旦开通，不接受退款。退款请联系“神奇女侠”（微信号ppman008）。
