大数跨境
0
0

工具 | 当python爬虫遇到10060错误

工具 | 当python爬虫遇到10060错误 CDA数据分析师
2016-04-28
2
导读:当python爬虫遇到10060错误

微信添加CDA为好友(ID:joinlearn),拉你入500人数据分析师交流群,点击阅读原文可查看CDA数据分析师交流群规范与福利,期待你来~

相信做过网站爬虫工作的同学都知道,python的urllib2用起来很方便,使用以下几行代码就可以轻松拿到某个网站的源码:


最后通过一定的正则匹配,解析返回的响应内容即可拿到你想要的东东。

但这样的方式在办公网和开发网下,处理部分外网站点时则会行不通。

比如:http://tieba.baidu.com/p/2460150866,执行时一直报10060的错误码,提示连接失败。



执行后,错误提示截图如下:


为了分析这一问题的原因,撸主采用了如下过程:

1、在浏览器里输入,可以正常打开,说明该站点是可以访问的。

2、同样的脚本放在公司的体验网上运行OK,说明脚本本身没有问题。

通过以上两个步骤,初步判断是公司对于外网的访问策略限制导致的。于是查找了下如何给urllib2设置ProxyHandler代理 ,将代码修改为如下:


再次运行,可以拿到所要的Html页面了。

到这里就完了么?没有啊!撸主想拿到贴吧里的各种美图,保存在本地,上代码吧:


再次运行,发现还是有报错!尼玛!又是10060报错,我设置了urllib2的代理了啊,为啥还是报错!


于是撸主继续想办法,一定要想拿到贴吧里的各种美图。既然通过正则匹配可以拿到贴吧里的图片的url,为何不手动去调用urllib2.urlopen去打开对应的url,获得对应的response,然后read出对应的图片二进制数据,然后保存图片到本地文件。于是有了下面的代码:


再次运行,发现图片的url按预期的打印出来,并且图片也被保存下来了:


至此,已完成撸主原先要做的目的。哈哈,希望总结的东东对其他小伙伴也有用。


文 | ringo

来源 | 腾讯WeTest

原文:http://wetest.qq.com/lab/view/?id=74


点击阅读原文可查看CDA数据分析师交流群规范与福利

【声明】内容源于网络
0
0
CDA数据分析师
🌸全国30万数据分析从业人员,有10万在CDA数据分析师 🌺CDA会员俱乐部有1000个数据库,成为持证人即可获得相关数据信息 🌹未来两样东西最有价值:一个是数据,一个是GPU
内容 9451
粉丝 0
CDA数据分析师 🌸全国30万数据分析从业人员,有10万在CDA数据分析师 🌺CDA会员俱乐部有1000个数据库,成为持证人即可获得相关数据信息 🌹未来两样东西最有价值:一个是数据,一个是GPU
总阅读459
粉丝0
内容9.5k