さまざまな Java クローラー フレームワークの比較: 目標を達成するにはどれが適していますか?

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupSpider {
    public static void main(String[] args) throws Exception {
        // 发起HTTP请求，获取网页内容
        Document doc = Jsoup.connect("https://example.com").get();
        // 使用CSS选择器定位需要的元素
        Elements links = doc.select("a[href]");
        // 遍历并输出元素文本
        for (Element link : links) {
            System.out.println(link.text());
        }
    }
}

import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.pipeline.Pipeline;

public class WebMagicSpider {
    public static void main(String[] args) {
        // 创建爬虫，并设置URL、页面处理器和输出管道
        Spider.create(new PageProcessor() {
            @Override
            public void process(Page page) {
                // TODO: 解析页面，提取需要的数据
            }

            @Override
            public Site getSite() {
                return Site.me();
            }
        })
        .addUrl("https://example.com")
        .addPipeline(new Pipeline() {
            @Override
            public void process(ResultItems resultItems, Task task) {
                // TODO: 处理爬取结果，保存数据
            }
        })
        .run();
    }
}

import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

public class HttpClientSpider {
    public static void main(String[] args) throws Exception {
        // 创建HTTP客户端
        CloseableHttpClient httpClient = HttpClients.createDefault();
        // 创建HTTP GET请求
        HttpGet httpGet = new HttpGet("https://example.com");
        // 发送请求，获取响应
        CloseableHttpResponse response = httpClient.execute(httpGet);
        // 提取响应内容
        String content = EntityUtils.toString(response.getEntity(), "UTF-8");
        // TODO: 解析响应内容，提取需要的数据
    }
}