XXL-CRAWLER v1.5.0，Java爬虫框架，如何抓取？

Release Notes 1、【升级】项目升级JDK17； 2、【升级】代码兼容改造，适配JDK17； 3、【升级】多个依赖升级至更新版本，如jsoup、selenium等。 引入Maven依赖 <dependency> <groupId>com.xuxueli</groupId> <artifactId>xxl-crawler</artifactId> <version>${最新稳定版}</version> </dependency> 代码示例 注意：仅供学习测试使用，如有侵犯请联系删除 提示：更多测试代码可以前往仓库查看：测试代码目录 爬虫名称：Gitee高星项目采集爬虫 爬虫功能：一行代码启动多线程爬虫，分页方式扩散爬取“Gitee开源项目列表”，通过“注解式”自动提取页面数据，封装成PageVo输出； XxlCrawler crawler = new XxlCrawler.Builder() .setUrls("https://gitee.com/explore/all?order=starred&page=1") // 设置爬虫入口URL .setAllowSpread(true) // 允许爬虫扩散 .setWhiteUrlRegexs("^https:\\/\\/gitee\\.com\\/explore\\/all\\?order=starred&page=[1-5]$") // 设置爬虫扩散的URL白名单正则表达式，控制扩散范围 .setThreadCount(3) // 设置爬虫线程池大小 .setPauseMillis(100) // 设置爬虫每次抓取间隔时间，避免对下游压力过大 .setPageParser(new PageParser<GiteeProjectPageVo>() { @Override public void afterParse(Response<GiteeProjectPageVo> response) { /** * 获取爬虫结果数据：afterParse 会在多线程爬虫运行过程中实时输出爬虫结果数据，避免结尾一次性反馈造成大对象问题；可实时消费处理数据，如存储在DB等。 */ if (response.getParseVoList() != null) { for (GiteeProjectPageVo pageVo: response.getParseVoList()) { logger.info("response.getHtml().baseUri()={}, PageDataVo={}", response.getHtml().baseUri(), pageVo); } } } }) .build(); crawler.start(true); 简介 XXL-CRAWLER 是一个轻量级Java爬虫框架。