课程｜不仅会员有打折，盼了好久的Python课程也有双十一活动啦？！

Q：Python&Stata的比较和优势

A：比较下来，Python的优势较明显

数据处理：Python的数据处理

1.数据清洗和整理技巧

2.如何处理大批量数据

一图胜千言，Python的科研作图案例

1.Matplotlib库及案例展示

2.Seaborn库及案例展示

理论：Python的计量模型应用

计量面板模型及扩展

计量DID模型及前沿

理论：中文top5，最新经管论文结果重现

论文一：数据、模型及Python代码；

论文题目：金融投资行为与企业技术创新（2021）

论文二：数据、模型及Python代码；

论文题目：扶贫改革试验区的经济增长效应及政策有效性评估（2019）

 课程特色：

1）课程内容对新手友好，一定程度上课程内容是自包含的，就算是萌新也能快速上手！

2）掌握自动生成爬虫代码工具（postman）

3）非结构化数据获取和结构化数据获取

4）详细介绍多渠道获取数据的方式，以网页端数据和小程序数据为例。

5）详细介绍如何通过数据接口逻辑漏洞获取数据

6）详细介绍多种反爬技巧，以如何避开网站登录以及selenium半自动爬取为主要内容。

7）以实践案例为引导。在例子中穿插爬虫理论，边用边学，学以致用。

8）详细介绍爬虫应用中的前沿工具，如fiddler。

课程目标

科研数据的顶端也是学术的顶端。

从0到1学会Python爬虫：掌握爬虫基本理论，理解并能够熟练运用Python相关的爬虫库，并且能够用于经管研究的数据采集工作。（对于没接触Python的人，附赠6学时Python基础课）

扩展实证研究数据视野：手把手全面的案例教学，以爬虫技术获取Web大数据，让一切Web数据触手可及，扩宽社科实证研究范围，让实证研究在数据、方法和视角上具有突破和创新。

多渠道寻找数据的能力：教会如何获取数据的途径和方法，多渠道多工具精准寻找数据接口。掌握如何检测接口的可用性以及如何寻找接口漏洞获取尽可能多的纬度数据。

掌握前沿爬虫方法，并学会使用数据库存储爬虫数据。

课程基础

IDE编辑器:pycharm的应用

爬虫涉及相关Python库介绍

请求库:request

解析库:lxml、scrapy.Selector

数据解析:xpath语法

调试工具:xpath helper插件介绍

数据存储:excel/csv, 文档数据库mongodb

抓包方式介绍:浏览器开发者工具

抓包工具介绍:fiddler

爬虫工具的介绍:selenium

实战案例：提供代码和爬取数据

一、糗事百科：以此案例系统讲授python爬虫的理论和具体操作，涉及到文本数据和非结构化数据的处理。

网站：https://www.qiushibaike.com/text/。

二、铁公基信息网：该案例的主要内容是获取该网站上所有关于铁路、公路和基建招投标数据。该网站上所包含数据是交通经济研究的重要数据。网站网址为：http://www.gonglutielu.com/ (微信公众号)。

三、农批数据/新农村商网：该案例是爬虫微信端口一个事实记录新农商网的农村品价格数据，可以实时获取全样本农产品的价格数据，

网站： https://nc.mofcom.gov.cn/ (微信小程序/小程序)。

四、船讯网：该案例的主要内容是通过分布式爬虫技术获取全球所有船只的航行轨迹数据，包括垂直领域和非垂直领域的数据。

网站：http://www.shipxy.com/。