“爬虫”的工作流程是什么样的？

首先我们要了解何为“爬虫”，“爬虫”又称网页蜘蛛、网络机器人等，是通过程序去获取web页面上的目标数据，其中图片、视频和文本这些都能够获取得到。

“爬虫”获取数据的工作流程总共分为4步基础流程：

1.请求目标链接

发起一个带有标头，能够请求参数等信息的Request，等待服务器响应；

2.获取响应内容

服务器正常响应后，Response的内容即包含所有页面内容；

3.解析内容

得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析；可能是Json字符串,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理；

4.存储数据

存储形式多样，可以存为文本，也可以存储到数据库，或者存为特定格式的文件；

了解完爬虫的工作流程，我们还要知道的是，“爬虫”爬取数据时必须要有一个目标的URL才可以获取数据，因此，它是爬虫获取数据的基本依据。那么目标的URL是什么？它是由什么样的格式组成？

URL是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL。而一个目标的URL分别是由三个部分组成（协议、存有该资源的主机IP地址、主机资源的具体地址）