数据共享：全！​中国各个地级市、区县夜光指数汇总2014-2019（免费）

★

★

大数据时代，大量商业信息、社会信息以文本等非结构化、异构型数据格式存储于海量的网页中，网络数据成为各领域学者亟待挖掘的宝库。

对于以经管为代表的人文社科类科研工作者而言，通过Python可以帮助学者解决使用Web数据进行科研面临的两大问题，即：

（1）从网络世界中高效地采集、整理目标数据。

（2）从纷杂的大数据中获取有价值信息，得到别人所得不到的第一手数据。

为了解决各位学术同仁掌握爬虫技术的需要，皮皮侠经过精心地准备，在中秋佳节之际，推出科研爬虫训练营！让大家节假日也可以在家充电！

1）课程内容对新手友好，一定程度上课程内容是自包含的，就算是萌新也能快速上手！

2）掌握自动生成爬虫代码工具（postman）。

3）非结构化数据获取和结构化数据获取。

4）详细介绍多渠道获取数据的方式，以网页端数据和小程序数据为例。

5）详细介绍如何通过数据接口逻辑漏洞获取数据。

6）详细介绍多种反爬技巧，以如何避开网站登录以及selenium半自动爬取为主要内容。

7）以实践案例为引导。在例子中穿插爬虫理论，边用边学，学以致用。

8）详细介绍爬虫应用中的前沿工具，如fiddler。

课程大纲

科研数据的顶端也是学术的顶端。

• IDE编辑器:pycharm的应用

• 爬虫涉及相关Python库介绍

• 请求库:request

• 解析库:lxml、scrapy.Selector

• 数据解析:xpath语法

• 调试工具:xpath helper插件介绍

• 数据存储:excel/csv, 文档数据库mongodb

• 抓包方式介绍:浏览器开发者工具

• 抓包工具介绍:fiddler

• 爬虫工具的介绍:selenium

一、糗事百科：以此案例系统讲授python爬虫的理论和具体操作，涉及到文本数据和非结构化数据的处理，网站：

https://www.qiushibaike.com/text/。

二、铁公基信息网：该案例的主要内容是获取该网站上所有关于铁路、公路和基建招投标数据。该网站上所包含数据是交通经济研究的重要数据。网站网址为：

http://www.gonglutielu.com/ (微信公众号)。

三、农批数据/新农村商网：该案例是爬虫微信端口一个事实记录新农商网的农村品价格数据，可以实时获取全样本农产品的价格数据，网站： 

https://nc.mofcom.gov.cn/ (微信小程序/小程序)。

四、船讯网：该案例的主要内容是通过分布式爬虫技术获取全球所有船只的航行轨迹数据，包括垂直领域和非垂直领域的数据。网站：http://www.shipxy.com/。

报名方式