1. Java爬虫入门为什么选择Jsoup十年前我刚入行时用Java写爬虫还得从Socket开始手撸HTTP请求。现在有了Jsoup这类神器新手也能快速上手。Jsoup最大的优势在于它完美平衡了易用性和功能性——既能像jQuery那样用CSS选择器提取数据又内置了完善的HTTP客户端连cookie和重定向都帮你处理好了。上周我带的新人用Jsoup写了个豆瓣电影爬虫从零开始到成功抓取只用了两小时。这要放在以前光处理HTTP响应编码就能卡住一整天。不过要注意虽然Jsoup用起来简单但想写出健壮的爬虫还是得掌握几个核心要点。2. HTTP协议基础爬虫的通信语言2.1 必知的HTTP要点爬虫本质上是模拟浏览器行为的HTTP客户端。最近帮客户排查一个爬虫故障时发现很多人连基本的HTTP状态码都分不清200 OK成功但要注意检查响应体可能仍有错误信息301/302重定向Jsoup默认会自动跟随403禁止访问可能触发了反爬404不存在检查URL拼写502网关错误目标服务器问题实测中发现约30%的爬虫问题都是由于没有正确处理HTTP状态码导致的。建议在代码里显式检查Response response Jsoup.connect(url).execute(); if(response.statusCode() ! 200) { throw new RuntimeException(HTTP error: response.statusCode()); }2.2 关键请求头设置去年做电商价格监控时发现不加User-Agent的请求直接被拒Connection connection Jsoup.connect(url) .userAgent(Mozilla/5.0 (Windows NT 10.0; Win64; x64)) .header(Accept-Language, zh-CN,zh;q0.9);警告不要随意设置非浏览器的User-Agent如包含Spider等字样这等于自曝爬虫身份3. Jsoup实战从安装到数据提取3.1 项目配置Maven依赖要选稳定版本当前推荐1.15.3dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.15.3/version /dependency3.2 基础爬取示例以抓取知乎热榜为例Document doc Jsoup.connect(https://www.zhihu.com/hot) .timeout(10000) // 10秒超时 .get(); Elements hotItems doc.select(.HotList-item); hotItems.forEach(item - { String title item.select(.HotItem-title).text(); String metrics item.select(.HotItem-metrics).text(); System.out.println(title - metrics); });3.3 高级技巧延迟处理用Thread.sleep模拟人工操作建议随机间隔1-3秒代理设置.proxy(127.0.0.1, 1080) // 需自行维护代理池表单提交Connection.Response loginRes Jsoup.connect(loginUrl) .data(username, admin, password, 123456) .method(Connection.Method.POST) .execute();4. 反爬应对策略4.1 常见反爬手段最近处理的案例显示主流网站防御手段包括IP频率限制每分钟超过30次请求可能被封行为检测如鼠标移动轨迹验证码特别是滑动验证码4.2 合规爬取建议遵守robots.txt规则虽然技术上可以绕过但可能涉及法律风险设置合理的爬取间隔商业级爬虫通常控制在5秒/次以上使用Cache-Control头减少重复请求5. 实战项目构建电影数据爬虫以豆瓣TOP250为例完整流程包括分页处理每页25条共10页异常重试机制使用try-catch包裹请求数据存储JSON或数据库核心代码片段ListMovie movies new ArrayList(); for (int i 0; i 10; i) { String pageUrl https://movie.douban.com/top250?start (i * 25); Document page Jsoup.connect(pageUrl) .header(Referer, https://movie.douban.com/) .get(); page.select(.item).forEach(item - { Movie movie new Movie(); movie.title item.select(.title).text(); movie.rating item.select(.rating_num).text(); movies.add(movie); }); Thread.sleep(2000 (long)(Math.random() * 1000)); }6. 性能优化与调试6.1 连接池配置高并发场景下需要优化连接管理Connection.Request request new Connection.Request() .maxBodySize(0) .timeout(30000); Connection.Response response request.execute();6.2 内存管理解析大文档时可能出现OOM解决方案使用StreamParser处理流式输入及时清理不再使用的Document对象7. 企业级爬虫考量商业项目中还需要考虑分布式调度如用Redis管理任务队列断点续爬记录已爬取URL数据去重布隆过滤器优化我曾用JsoupSpring Batch构建的爬虫系统日均处理百万级页面关键是要做好请求速率控制自动切换代理IP异常邮件报警8. 法律与道德边界几个红线绝对不能碰绕过付费墙抓取付费内容抓取用户隐私数据对目标网站造成明显性能影响去年有个案例某公司爬虫把对方服务器打挂最后赔了上百万。建议正式项目前务必进行压力测试用本地Mock服务法律合规审查9. 扩展学习路径掌握基础后可以进阶动态页面处理配合HtmlUnit反反爬技术指纹伪装机器学习识别验证码我书架上常备的参考书《Java网络编程精解》《反爬虫AST分析与绕过》《大规模分布式爬虫实战》 Java爬虫入门：Jsoup实战与HTTP协议解析
1. Java爬虫入门为什么选择Jsoup十年前我刚入行时用Java写爬虫还得从Socket开始手撸HTTP请求。现在有了Jsoup这类神器新手也能快速上手。Jsoup最大的优势在于它完美平衡了易用性和功能性——既能像jQuery那样用CSS选择器提取数据又内置了完善的HTTP客户端连cookie和重定向都帮你处理好了。上周我带的新人用Jsoup写了个豆瓣电影爬虫从零开始到成功抓取只用了两小时。这要放在以前光处理HTTP响应编码就能卡住一整天。不过要注意虽然Jsoup用起来简单但想写出健壮的爬虫还是得掌握几个核心要点。2. HTTP协议基础爬虫的通信语言2.1 必知的HTTP要点爬虫本质上是模拟浏览器行为的HTTP客户端。最近帮客户排查一个爬虫故障时发现很多人连基本的HTTP状态码都分不清200 OK成功但要注意检查响应体可能仍有错误信息301/302重定向Jsoup默认会自动跟随403禁止访问可能触发了反爬404不存在检查URL拼写502网关错误目标服务器问题实测中发现约30%的爬虫问题都是由于没有正确处理HTTP状态码导致的。建议在代码里显式检查Response response Jsoup.connect(url).execute(); if(response.statusCode() ! 200) { throw new RuntimeException(HTTP error: response.statusCode()); }2.2 关键请求头设置去年做电商价格监控时发现不加User-Agent的请求直接被拒Connection connection Jsoup.connect(url) .userAgent(Mozilla/5.0 (Windows NT 10.0; Win64; x64)) .header(Accept-Language, zh-CN,zh;q0.9);警告不要随意设置非浏览器的User-Agent如包含Spider等字样这等于自曝爬虫身份3. Jsoup实战从安装到数据提取3.1 项目配置Maven依赖要选稳定版本当前推荐1.15.3dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.15.3/version /dependency3.2 基础爬取示例以抓取知乎热榜为例Document doc Jsoup.connect(https://www.zhihu.com/hot) .timeout(10000) // 10秒超时 .get(); Elements hotItems doc.select(.HotList-item); hotItems.forEach(item - { String title item.select(.HotItem-title).text(); String metrics item.select(.HotItem-metrics).text(); System.out.println(title - metrics); });3.3 高级技巧延迟处理用Thread.sleep模拟人工操作建议随机间隔1-3秒代理设置.proxy(127.0.0.1, 1080) // 需自行维护代理池表单提交Connection.Response loginRes Jsoup.connect(loginUrl) .data(username, admin, password, 123456) .method(Connection.Method.POST) .execute();4. 反爬应对策略4.1 常见反爬手段最近处理的案例显示主流网站防御手段包括IP频率限制每分钟超过30次请求可能被封行为检测如鼠标移动轨迹验证码特别是滑动验证码4.2 合规爬取建议遵守robots.txt规则虽然技术上可以绕过但可能涉及法律风险设置合理的爬取间隔商业级爬虫通常控制在5秒/次以上使用Cache-Control头减少重复请求5. 实战项目构建电影数据爬虫以豆瓣TOP250为例完整流程包括分页处理每页25条共10页异常重试机制使用try-catch包裹请求数据存储JSON或数据库核心代码片段ListMovie movies new ArrayList(); for (int i 0; i 10; i) { String pageUrl https://movie.douban.com/top250?start (i * 25); Document page Jsoup.connect(pageUrl) .header(Referer, https://movie.douban.com/) .get(); page.select(.item).forEach(item - { Movie movie new Movie(); movie.title item.select(.title).text(); movie.rating item.select(.rating_num).text(); movies.add(movie); }); Thread.sleep(2000 (long)(Math.random() * 1000)); }6. 性能优化与调试6.1 连接池配置高并发场景下需要优化连接管理Connection.Request request new Connection.Request() .maxBodySize(0) .timeout(30000); Connection.Response response request.execute();6.2 内存管理解析大文档时可能出现OOM解决方案使用StreamParser处理流式输入及时清理不再使用的Document对象7. 企业级爬虫考量商业项目中还需要考虑分布式调度如用Redis管理任务队列断点续爬记录已爬取URL数据去重布隆过滤器优化我曾用JsoupSpring Batch构建的爬虫系统日均处理百万级页面关键是要做好请求速率控制自动切换代理IP异常邮件报警8. 法律与道德边界几个红线绝对不能碰绕过付费墙抓取付费内容抓取用户隐私数据对目标网站造成明显性能影响去年有个案例某公司爬虫把对方服务器打挂最后赔了上百万。建议正式项目前务必进行压力测试用本地Mock服务法律合规审查9. 扩展学习路径掌握基础后可以进阶动态页面处理配合HtmlUnit反反爬技术指纹伪装机器学习识别验证码我书架上常备的参考书《Java网络编程精解》《反爬虫AST分析与绕过》《大规模分布式爬虫实战》