Langkah demi langkah: Tutorial mempelajari merangkak data halaman web dengan perangkak Java

dari pemula ke penguasaan: Java Crawler Tutorial - laman web laman web penangkapan

Perintis:
Dengan perkembangan pesat Internet, sejumlah besar data berharga bertaburan di laman web, yang mengandungi maklumat yang kaya Ia adalah sumber yang sangat berharga untuk penganalisis data. Sebagai alat automatik, perangkak boleh membantu kami mendapatkan data daripada halaman web, jadi ia digunakan secara meluas dalam pemprosesan dan analisis data. Tutorial ini akan membawa pembaca daripada pemula kepada mahir melalui contoh kod khusus untuk mencapai tangkapan data halaman web.

1. Persediaan persekitaran
Pertama, kita perlu menyediakan persekitaran pembangunan Java, termasuk JDK dan alat pembangunan (seperti Eclipse, IntelliJ IDEA, dll.). Selain itu, kami juga perlu memperkenalkan perpustakaan Java Jsoup, yang merupakan penghurai HTML yang sangat berkuasa yang boleh membantu kami menghuraikan struktur DOM dengan cepat pada halaman web.

2. Buat projek
Buat projek Java baharu dalam alatan pembangunan dan namakannya "WebCrawler". Seterusnya, kita perlu menambah perpustakaan Jsoup kepada projek. Anda boleh menambah fail balang Jsoup dalam direktori lib projek, atau gunakan alat pengurusan seni bina (seperti Maven) untuk memperkenalkannya.

3. Tulis kod

1. Import pakej dan kelas yang diperlukan:

   import org.jsoup.Jsoup;
   import org.jsoup.nodes.Document;
   import org.jsoup.nodes.Element;
   import org.jsoup.select.Elements;
   import java.io.IOException;

   Salin selepas log masuk

2. Buat kelas bernama "WebCrawler" dan tentukan kaedah bernama "crawWebData" di dalamnya untuk merangkak data halaman Web

   :re kaedah "crawWebData", kami mula-mula menggunakan kaedah connect() Jsoup untuk menyambung ke halaman web yang ditentukan, dan menggunakan kaedah get() untuk mendapatkannya Objek dokumen daripada laman web tersebut.
3. connect()方法连接到指定的网页，并使用get()方法获取网页的文档对象。

4. 接下来，我们可以利用Jsoup提供的强大的选择器功能，通过类名、标签名等对DOM结构进行解析和查询，定位到我们需要抓取的数据的位置，如：

   public class WebCrawler {
    
    public static void crawlWebData() {
        String url = "http://example.com"; // 要抓取的网页URL
        
        try {
            Document doc = Jsoup.connect(url).get(); // 使用Jsoup连接并获取网页文档
            
            // 解析网页上的DOM结构，提取需要的数据
            // ...
            
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
   }

   Salin selepas log masuk

5. 类似地，我们还可以使用选择器来获取网页中的其他元素，如链接、图片等：

   // 获取网页中的所有标题
   Elements titles = doc.select("h1");
   for (Element title : titles) {
    System.out.println(title.text());
   }

   Salin selepas log masuk

四、运行程序
在main方法中，实例化WebCrawler类，并调用crawlWebDataSeterusnya, kita boleh menggunakan fungsi pemilih berkuasa yang disediakan oleh Jsoup untuk menghuraikan dan menanyakan struktur DOM melalui nama kelas, nama teg, dsb., dan mencari lokasi data yang perlu kita tangkap, seperti:

// 获取所有链接
Elements links = doc.select("a[href]");
for (Element link : links) {
 System.out.println(link.attr("href"));
}

// 获取所有图片URL
Elements images = doc.select("img[src]");
for (Element image : images) {
 System.out.println(image.attr("src"));
}

public static void main(String[] args) {
    WebCrawler crawler = new WebCrawler();
    crawler.crawlWebData();
}

Atas ialah kandungan terperinci Langkah demi langkah: Tutorial mempelajari merangkak data halaman web dengan perangkak Java. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!