Toggle navigation
面试宝典
架构师课程
开源
文章
博客
SpringCloud
CloudAlibaba
SpringBoot
Spring Boot1.X
Spring Boot2.X
关于
登录
|
注册
支付宝扫一扫帮助发展吧~
微信扫一扫帮助发展吧~
Java做爬虫也很牛
尹吉欢
2018-06-19 15:24:23.0
0条评论
1653人阅读
版权声明：转载请先联系作者并标记出处。
java
点击阅读全文
扫描下方二维码，加入Java方向技术交流讨论群。暗号：加群
去注册
去登录
登录后发表
去注册
去登录
登录后发表
首先我们封装一个Http请求的工具类，用HttpURLConnection实现，当然你也可以用HttpClient, 或者直接用Jsoup来请求（下面会讲到Jsoup）。 工具类实现比较简单，就一个get方法，读取请求地址的响应内容，这边我们用来抓取网页的内容，这边没有用代理，在真正的抓取过程中，当你大量请求某个网站的时候，对方会有一系列的策略来禁用你的请求，这个时候代理就排上用场了，通过代理设置不同的IP来抓取数据。 ``` import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; public class HttpUtils { public static String get(String url) { try { URL getUrl = new URL(url); HttpURLConnection connection = (HttpURLConnection) ge
首次访问，人机识别
扫描下方二维码回复
王老吉
获取解锁验证码
步骤:[ 打开微信 ]->[ 扫描上方二维码 ]->[ 关注
猿天地
的公众号] 输入
王老吉
获取验证码,即可永久解锁本站全部文章。
验证码：
（请输入）
提交
