爬取服务介绍
本号推出数据爬虫服务，客户可将需要爬取的网址，字段，具体需求等信息发送给下方客服，并进行定制化爬取服务，具体收费标准根据难度商议协定。
如需定制，请添加客服1微信
本期介绍
1. 百度指数介绍
百度指数是以百度海量网民行为数据为基础的数据分享平台。在这里，您可以研究关键词搜索趋势、洞察网民需求变化、监测媒体舆情趋势、定位数字消费者特征；还可以从行业的角度，分析市场特点。百度指数可以用来衡量地区内（省级和市级）公众对经济活动的偏好、需求、关注和监督程度，对于实证研究的独特变量构造大有裨益。
百度指数官网：https://index.baidu.com
2. 百度指数爬取难点
-
百度指数只有日度数据
因此，如果要爬取一个关键词1年的百度指数，则需要爬取365天的日度指数，如果同时需要区分34个省份（含特别行政区），或者需要区分到城市级别，那爬取的工作量将急剧上升。
-
限制单个账号访问频率
在爬取工作量大的情况下，百度指数同时又限制了单个账号的访问频率，如果单个百度账号访问过于频繁，将被ban掉。因此需要建立一个百度账号池，进行随机爬取。
-
数据需要进行解码
百度指数访问需要一个核心参数，而这个参数是加密的，因此需要进行解码；而且哪怕获取到了相应数据，这个数据也是叠到一块的，需要进行格式化处理，才能形成我们需要的可视化数据。
-
反爬措施更新频繁
因此，爬取百度指数学习成本较高，哪怕在提供现成代码的情况下，都很难调试成功。
3. 百度指数代爬服务
为方便大家的数据需求，我们花费了大量的时间进行查找资料、调试代码，最终能够按照地区-时间段-关键词爬取百度指数。
经核对，所爬取的数据与官网数据相同。
因此，如有百度指数的需求，本号可提供有偿代爬服务。
3.1 您需要提供的信息
-
关键词（需自行确定是否已被百度指数收录
确定方法：在百度指数页面进行搜索，如果能够搜索出相应数据，则表明已被收录
-
时间区间
例如：2011年12月31日-2020年12月31日
-
数据层级
全国、省（含特别行政区）还是城市层面的百度搜索指数，具体包含哪些省份或者城市请见：
百度指数官网：https://index.baidu.co
3.2 给到您的数据
默认以多个以地区命名的EXCEL文件（如有特殊需求请提前说明）
以爬取的省级百度指数为例：
4. 代爬服务计费规则
注意：如果有爬取百度指数的需要，提供的是有偿代爬服务
按照
关键词数量、爬取的年份和地区层级收费。
5. 参考文献
[1] 郑思齐, 万广华, 孙伟增, 罗党论. 公众诉求与城市环境治理[J]. 管理世界, 2013, (6): 72-84.
[2] 李欣, 杨朝远, 曹建华. 网络舆论有助于缓解雾霾污染吗?——兼论雾霾污染的空间溢出效应[J]. 经济学动态, 2017, (6): 45-57.
[3] 唐松, 施文, 孙安其. 环境污染曝光与公司价值——理论机制与实证检验[J]. 金融研究, 2019, (8): 133-150.
[4] 刘志峰, 张婷婷. 投资者彩票偏好对股票价格行为的影响研究[J]. 管理科学学报, 2020, 23, (3): 89-99.
[5] 盛天翔和范从来. 金融科技、最优银行业市场结构与小微企业信贷供给[J]. 金融研究, 2020, (06): 114-132.
Paper数据分析公众号
资源分享、科研辅导、数据分析等干货基地
资源获取方式
添加客服1详询：
