
本次皮皮侠给大家提供了
五一课程集!
现报名倒计时2天!
社科科研数据爬虫训练营
购买本次课程可立得皮皮侠15天会员!
购买后请直接联系微信:ppman233
快来看看本次课程的内容吧!
社科科研数据爬虫训练营-倒计时三天!
对于社科学者来说,科研数据的顶端也是学术的顶端。金融、社交、房产、电商、招聘、舆情、地理信息等各类数据以文本等非结构化、异构型数据格式存储于海量的网页、app中。对于人文社科类专业科研工作者而言,通过Python可以帮助学者解决使用Web数据进行科研面临的两大问题,
即:(1)从网络世界中高效地采集数据
(2)从纷杂的大数据获取有价值信息。近年来,知网上利用爬虫整理数据发表论文数量呈现出爆发式增长:

显然,“爬虫”技术就是打开科研数据宝库的钥匙,它可帮你从纷杂的信息中得到稀缺的一手数据,让你的研究不再受到数据的限制,极大提高科研效率。我们面向社科实证研究开发了爬虫课程帮你从0到1并且精进“爬虫”技术,让你的idea再也不愁缺乏数据支持啦!
课程目标:科研数据的顶端也是科研和学术的顶端。以爬虫技术获取大数据,扩宽社科实证研究范围,让实证研究在数据、方法和视角上具有突破和创新。以掌握爬虫基本理论,理解并能够熟练运用Python相关的爬虫库,并且能够将其运用在具体社科研究中去。
适合对象:适合Python 0基础以及期望数据进阶的硕博学生及高校研究者以及从事数据分析相关人士。
课程特点:
易理解:以社科学术实证需求为导向, 知识点力求通俗易懂,6个案例场景和实战讲解
可复制:提供可重复使用的代码块和案例数据,可满足学员大部分科研爬虫需求
永久回放:采取腾讯会议直播形式,录播会上线“皮皮侠学院”供学员永久查看
全程答疑:赠6小时Python基础课程+老师对学员课程相关的问题进行答疑
刘航远
| 模块 | 内容 | ||||
| 一、课程理论基础 | IDE编辑器:Pycharm的应用 爬虫涉及相关的Python库的介绍 请求库:request 解析库:lxml、scrapy.Selector 数据解析:xpath语法 调试工具:xpath helper插件介绍 数据存储:excel/csv,文档数据库mongodb 抓包方式介绍:浏览器开发者工具 抓包工具介绍:fiddler 爬虫工具的介绍:selenium. App抓包辅助工具:模拟器 |
||||
| 二、实战案例-提供代码和爬取数据 | (1)糗事百科:以此案例系统讲授python爬虫的理论和具体操作,涉及到文本数据和非结构化数据的处理。 网站: https://www.qiushibaike.com/text/. |
||||
| (2)土地网:土地流转数据新星平台,该案例从web端和微信小程序端两个平台案例讲解。 网站: https: / / www.tuliu.com/ |
|||||
| (3)农批数据/新农村商网︰该案例是爬虫微信端口一个事实记录新农商网的农村品价格数据,可以实时获取全样本农产品的价格数据。 网站: https://nc.mofcom.gov.cn/ |
|||||
| (4)船讯网:该案例是通过动态爬虫技术获取全球所有船只的航行轨迹数据。 网站: http: // www.shipxy.com/ |
|||||
| (5)深交所定期报告:该案例主要是网络文件下载,上市公司信息定期报告的下载, 网站:http://www.szse.cn/disclosure/listed/fixed/index.html |
|||||
| (6)知网半自动爬取:selenium实战案例 (7)工商企业的内容 :http://www.gsxt.gov.cn/index.html |
|||||




