Toggle navigation
面试宝典
架构师课程
开源
文章
博客
SpringCloud
CloudAlibaba
SpringBoot
Spring Boot1.X
Spring Boot2.X
关于
登录
|
注册
支付宝扫一扫帮助发展吧~
微信扫一扫帮助发展吧~
爬虫过程中加上这些策略让你采集效率更高
yiniuyun
2019-04-08 17:19:54.0
0条评论
1315人阅读
版权声明：转载请先联系作者并标记出处。
爬虫 ua cookie 亿牛云代理
点击阅读全文
扫描下方二维码，加入Java方向技术交流讨论群。暗号：加群
去注册
去登录
登录后发表
去注册
去登录
登录后发表
我们都知道在采集数据过程中，尤其是爬取大量数据的时候，很多网站都有反爬虫措施，封ip是很严重的，，让你在采集的时候很心烦。本文就如何解决这个问题总结出一些应对措施，这些措施可以单独使用，也可以同时使用，效果更好。 一 、伪造User-Agent 在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。比如： headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'} resp = requests.get(url,headers = headers) 在每次重复爬取之间设置一个随机时间间隔 # 比如： time.sleep(random.randint(0,3)) # 暂停0~3秒的整数秒，时间区间：[0,3] # 或： time.sleep(random.random()) # 暂停0~1秒，时间区间：[0,1) 而且最主要的是ua要越多
首次访问，人机识别
扫描下方二维码回复
王老吉
获取解锁验证码
步骤:[ 打开微信 ]->[ 扫描上方二维码 ]->[ 关注
猿天地
的公众号] 输入
王老吉
获取验证码,即可永久解锁本站全部文章。
验证码：
（请输入）
提交
