大数跨境
0
0

【爬虫】百度迁徙大数据(1)——迁入、迁出数据

【爬虫】百度迁徙大数据(1)——迁入、迁出数据 Paper数据分析
2022-10-03
1
导读:1.数据简介肯定有很多小伙伴们听说过百度迁徙,那么它到底是什么呢?让我们来看一下来自百度迁徙官方机构百度慧眼

1.数据简介

肯定有很多小伙伴们听说过百度迁徙,那么它到底是什么呢?让我们来看一下来自百度迁徙官方机构百度慧眼的解释:“百度迁徙是基于百度地图开放平台地理位置服务进行计算分析得来,该项目由百度地图采用创新的可视化呈现方式,在业界首次全程、动态、即时、直观地展现出中国春节前后人口大迁徙的轨迹与特征。在春节迁徙项目中,用户可以直观地了解到各个城市之间人口短期流动情况。”

百度迁徙的网址为:http://qianxi.baidu.com/

2.数据来源

了解了百度迁徙的界面后,你是否会产生这样的疑问:这个数据来源于哪里呢?真的可靠么?

根据百度慧眼的说明,百度迁徙数据来源是百度地图开放平台海量的定位服务数据(LBS:基于位置的服务),也就是来源于所有选择使用百度基于地理位置API服务的软件。

官方显示,百度地图开放平台定位服务是广大开发者首选服务。从开发者角度,百度地图开放平台开发者数量超过165万,开发者市场占有率为75%,为超过65万活跃App及网站提供服务;从用户角度,百度定位服务每天响应全球位置服务请求超过1200亿次,这个庞大的位置请求数据是迁徙数据的基础。

由此可见,百度迁徙的数据基础十分雄厚可靠,可以算是大数据具有代表性的项目之一。

3. 迁入、迁出指数

效果展示
我们把获得的数据存成一个xls格式,因为csv换列不太方便(我不会)所以我选择了xls。这张图里表是某城市一月、二月一共两个月的迁出数据,左边第一列是所有城市的编码(身份证前6位,这也和url要求的编码一样),左边第二列是所有城市的名称,第一行是日期。
然后为了让各位看官看到像百度迁徙网站那样的前一百名排序,我就特地点了排序截了一张图(1月1日排序)如下。(这两个是同一个表)
4. 相关研究
知道了百度迁徙数据是什么,那么该数据有什么用,能为我们带来哪些帮助呢?由于目前迁徙数据主要分为三个不同的来源,除了百度迁徙数据,还有腾讯迁徙数据、高德迁徙数据,这三种数据在本质上相同,因此我们将这三种数据放在一起研究。通过分析相关论文,我们总结出了以下俩点:
①从研究数据方面看,我们找到了40篇基于腾讯迁徙数据的论文,56篇基于百度迁徙数据的论文,2篇基于高德迁徙数据的论文。从论文数量的对比可以看出百度迁徙数据更受研究者青睐,特别是在腾讯迁徙数据关闭后,该趋势愈发明显,大家可以重点关注百度迁徙数据的应用,此外基于高德迁徙数据的论文较少,这个和高德迁徙数据知道的人比较少有很大关系,高德迁徙数据等着新的研究者去探索。论文具体如下:
腾讯迁徙数据的论文
百度迁徙数据的论文
高德迁徙数据的论文
②从研究内容看,基于迁徙数据的研究主要集中在两个大方面,一个是基于迁徙数据去析城市联系度和城市网络结构。另外一个是基于迁徙数据进行新冠疫情相关的研究。
先来看第一个“基于迁徙数据分析城市联系度和城市网络结构”。在迁徙数据出来之前,学者只能基于静态统计数据进行城市联系相关的研究,这在科学性、时效性方面明显不足。迁徙数据,凭借着实时更新、样本量巨大的特点,在推出后,迅速受到众多学者的关注,也产生了很多学术论文。这些学术论文从研究范围上可以概括为两种,一种是在全国层面研究城市间的联系度和城市网络结构,另外一种是在城市群层面研究城市间的联系度和城市网络结构。具体论文如下:
全国层面研究城市间的联系度和城市网络结构
城市群层面研究城市间的联系度和城市网络结构
再来看看第二个“基于迁徙数据进行新冠疫情相关的研究”。2020年初新冠疫情突然爆发,且迅速蔓延全球,成为了全球重大事件。众多机构和学者都致力于研究疫情的起源、传播方式和防控措施等。新冠疫情的传播、防控与人口流动有很大的关系,因此,基于人口迁徙数据进行新冠疫情相关的研究近来受到很大重视,也产生了很多论文。这些论文可以概况为三种,第一种分析疫情对于我们城市间人口迁徙的影响;第二种是通过分析我们城市间的人口迁徙来为疫情防控提供预警;第三种是研究疫情病例与人口迁徙情况的相关关系。论文具体如下:
分析疫情对于我们城市间人口迁徙的影响的论文
分析我们城市间的人口迁徙来为疫情防控提供预警的论文
研究疫情病例与人口迁徙情况的相关关系的论文
除了各种论文研究,在百度地图慧眼的官方微信公众号上也发表了很多利用百度迁徙数据做的研究。
比如“选择春运期间的百度迁徙数据,反映出城市在全国关联网络的地位,用以判断谁是第十座国家中心城市”,比如“基于百度地图慧眼迁徙大数据的全国城市重要性评价和城镇化分区划定”等。除了利用该数据进行科研研究、辅助规划师进行判断、帮助地产分析师精准判断区块价值外,还可以利用该数据驱动政府科学决策,为政策的制定提供数据支撑。当然,还有很多场景可以用到它,大家可以开动脑筋。
5. 数据获取
   目前我们支持城市级、省级、全国的迁入迁出数据爬取服务,具体需要的时间段和城市/省份可联系文末客服定制。有python基础的用户也可直接获取后台经调试直接可用的爬取脚本(有偿)从而自由爬取任意所需城市/省份的数据.
PS:会收取一些手工费,但可以保证的是,价格绝对低于某些平台的价格。

如有以下需求请直接点击红字链接
数据资源
学术指导
数据众筹
Paper

Paper



资源获取方式

加客服1

更多资源,点击下方阅读原文
【声明】内容源于网络
0
0
Paper数据分析
资源分享、科研辅导、数据分析等干货基地
内容 136
粉丝 0
Paper数据分析 资源分享、科研辅导、数据分析等干货基地
总阅读0
粉丝0
内容136