Bagaimana untuk menggunakan perpustakaan kelas PHP Curl untuk menulis program perangkak yang cekap?

Bagaimana untuk menggunakan perpustakaan kelas PHP Curl untuk menulis program perangkak yang cekap?

Abstrak: Program crawler boleh digunakan untuk mendapatkan data daripada halaman web untuk mencapai pemprosesan automatik dalam pelbagai senario. Artikel ini akan memperkenalkan cara menggunakan perpustakaan kelas PHP Curl untuk menulis program perangkak yang cekap dan menyediakan contoh kod yang berkaitan.

Pengenalan: Dengan peningkatan dalam populariti Internet, kami berurusan dengan sejumlah besar halaman web setiap hari. Kadangkala, kita perlu mendapatkan beberapa data berguna daripada rangkaian, kemudian kita perlu menggunakan program perangkak. Program perangkak ialah alat yang mengumpul data secara automatik Ia mensimulasikan tingkah laku penyemak imbas untuk mendapatkan kandungan halaman web dan mengekstrak maklumat yang berguna. Dalam artikel ini, kami akan menggunakan perpustakaan kelas PHP Curl untuk menulis program perangkak yang cekap.

1 Pertama, kita perlu memasang dan mengkonfigurasi perpustakaan kelas PHP Curl. Anda boleh memasangnya menggunakan arahan berikut:

sudo apt-get install php-curl

Selepas pemasangan selesai, dayakan sambungan Curl dalam fail konfigurasi PHP.

2 Seterusnya, kami akan memperkenalkan cara menggunakan perpustakaan kelas PHP Curl untuk menulis program perangkak yang cekap. Sila ikut langkah berikut:

1. Buat fail PHP bernama crawler.php.

2. Perkenalkan perpustakaan kelas Curl ke dalam fail:

   require_once('simple_html_dom.php'); //Perkenalkan perpustakaan kelas simple_html_dom
   $url = "https://www.example.com" ; / /URL untuk dirangkak
   $html = file_get_html($url); //Dapatkan kandungan web
   ?>

3. Dapatkan kandungan web. Kami boleh menggunakan kaedah dapatkan Curl untuk mendapatkan kandungan web:

   $ch = curl_init(); //Initialize Curl
   curl_setopt($ch, CURLOPT_URL, $url); //Set the URL
   curl_setopt($ ch, CURLOPT_RETURNTRANSFER, 1); //Simpan hasil ke rentetan tanpa mencetaknya
   $html = curl_exec($ch); //Laksanakan permintaan Curl($ch); ;
   
   

Menghuraikan kandungan web. Kami boleh menggunakan perpustakaan kelas simple_html_dom untuk menghuraikan HTML dan mendapatkan data yang kami perlukan:

4. $dom = new simple_html_dom(); //Buat objek simple_html_dom

   $dom->load($html); //Muat kandungan HTML
   //Gunakan pemilih CSS untuk mengekstrak data
   $title = $dom->find('title', 0)->plaintext; //Dapatkan tajuk
   $content = $dom-> cari ('.content', 0)->plaintext; //Dapatkan kandungan
   $pautan = $dom->find('a'); //Dapatkan semua pautan
   ?>
   
   

Data storan. Kita boleh menyimpan data yang diperolehi dalam pangkalan data atau menyimpannya sebagai fail:

5. //Simpan data ke pangkalan data

   $conn = mysqli_connect("localhost", "nama pengguna", "kata laluan", " pangkalan data"); //Sambung ke pangkalan data
   $query = "MASUKKAN KE DALAM jadual (tajuk, kandungan) NILAI ('$tajuk', '$kandungan')"; //Membina pernyataan sisipan
   mysqli_query($conn, $ pertanyaan); //Lakukan operasi sisipan
   mysqli_close($conn); //Tutup sambungan pangkalan data
   
   //Simpan data sebagai fail

   $file = fopen("data.txt", "w"); /Buka fail untuk menulis Kaedah

   fwrite($file, "Tajuk: $title
   "); //Tulis tajuk
   fwrite($file, "Kandungan: $content
   "); $file); // Tutup fail
   ?>
   
   
   

   Dengan cara ini, kami telah melengkapkan program perangkak yang mudah. Anda boleh mengembangkan dan mengoptimumkan mengikut keperluan sebenar.

Atas ialah kandungan terperinci Bagaimana untuk menggunakan perpustakaan kelas PHP Curl untuk menulis program perangkak yang cekap?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!