Mengikis web ialah alat yang sangat berkuasa untuk mengumpul data daripada tapak web. Dengan Puppeteer, pustaka penyemak imbas tanpa kepala Google untuk Node.js, anda boleh mengautomasikan proses menavigasi halaman, mengklik butang dan mengekstrak maklumat—semuanya sambil meniru tingkah laku penyemakan imbas manusia. Panduan ini akan membimbing anda melalui perkara penting mengikis web dengan Puppeteer dengan cara yang mudah, jelas dan boleh diambil tindakan.
Puppeteer ialah perpustakaan Node.js yang membolehkan anda mengawal versi tanpa kepala Google Chrome (atau Chromium). Penyemak imbas tanpa kepala berjalan tanpa antara muka pengguna grafik (GUI), menjadikannya lebih pantas dan sesuai untuk tugas automasi seperti mengikis. Walau bagaimanapun, Puppeteer juga boleh berjalan dalam mod penyemak imbas penuh jika anda perlu melihat perkara yang berlaku secara visual.
Fleksibiliti: Puppeteer mengendalikan tapak web dinamik dan aplikasi satu halaman (SPA) dengan mudah.
Sokongan JavaScript: Ia melaksanakan JavaScript pada halaman, yang penting untuk mengikis apl web moden.
Kuasa Automasi: Anda boleh melaksanakan tugas seperti mengisi borang, mengklik butang dan juga mengambil tangkapan skrin.
Apabila mengikis tapak web, proksi adalah penting untuk mengelakkan larangan IP dan mengakses kandungan geo-terhad. Proksi bertindak sebagai perantara antara pengikis anda dan tapak web sasaran, menutup alamat IP sebenar anda. Untuk Puppeteer, anda boleh menyepadukan proksi dengan mudah dengan menghantarnya sebagai hujah pelancaran:
javascript
Salin kod
pelayar const = tunggu puppeteer.launch({
args: ['--proxy-server=your-proxy-server:port']
});
Proksi amat berguna untuk meningkatkan usaha mengikis anda. Proksi berputar memastikan setiap permintaan datang daripada IP yang berbeza, mengurangkan peluang pengesanan. Proksi kediaman, yang terkenal dengan keasliannya, sangat baik untuk memintas pertahanan bot, manakala proksi pusat data lebih pantas dan lebih berpatutan. Pilih jenis yang selaras dengan keperluan mengikis anda dan sentiasa uji prestasi untuk memastikan kebolehpercayaan.
Sebelum anda mula mengikis, anda perlu menyediakan Puppeteer. Mari selami proses langkah demi langkah:
Langkah 1: Pasang Node.js dan Puppeteer
Pasang Node.js: Muat turun dan pasang Node.js daripada tapak web rasmi.
Sediakan Puppeteer: Buka terminal anda dan jalankan arahan berikut:
bash
Salin kod
npm pasang dalang
Ini akan memasang Puppeteer dan Chromium, penyemak imbas yang dikawalnya.
Langkah 2: Tulis Skrip Dalang Pertama Anda
Buat fail JavaScript baharu, scraper.js. Ini akan menempatkan logik pengikisan anda. Mari tulis skrip ringkas untuk membuka halaman web dan mengekstrak tajuknya:
javascript
Salin kod
const puppeteer = memerlukan('puppeteer');
(async () => {
pelayar const = tunggu puppeteer.launch();
halaman const = tunggu browser.newPage();
// Navigasi ke tapak web
tunggu page.goto('https://example.com');
// Ekstrak tajuk
const title = tunggu page.title();
console.log(Tajuk halaman: ${tajuk});
tunggu pelayar.close();
})();
Jalankan skrip menggunakan:
bash
Salin kod
pengikis nod.js
Anda baru sahaja menulis pengikis Puppeteer pertama anda!
Sekarang anda sudah menguasai asasnya, mari terokai beberapa ciri Puppeteer utama yang akan anda gunakan untuk mengikis.
Menavigasi ke Halaman
Kaedah page.goto(url) membolehkan anda membuka sebarang URL. Tambahkan pilihan seperti tetapan tamat masa jika perlu:
javascript
Salin kod
tunggu page.goto('https://example.com', { tamat masa: 60000 });
Memilih Elemen
Gunakan pemilih CSS untuk menentukan elemen pada halaman. Puppeteer menawarkan kaedah seperti:
halaman.$(selector) untuk perlawanan pertama
halaman.$$(pemilih) untuk semua perlawanan
Contoh:
javascript
Salin kod
elemen const = halaman tunggu.$('h1');
teks const = tunggu page.evaluate(el => el.textContent, elemen);
console.log(Tajuk: ${teks});
Berinteraksi dengan Elemen
Simulasikan interaksi pengguna, seperti klik dan menaip:
javascript
Salin kod
tunggu page.click('#submit-button');
tunggu page.type('#search-box', 'Puppeteer scraping');
Menunggu Elemen
Halaman web dimuatkan pada kelajuan yang berbeza. Puppeteer membenarkan anda menunggu elemen sebelum meneruskan:
javascript
Salin kod
tunggu page.waitForSelector('#dynamic-content');
Mengambil Tangkapan Skrin
Penyahpepijatan visual atau menyimpan data sebagai imej adalah mudah:
javascript
Salin kod
tunggu page.screenshot({ path: 'screenshot.png', fullPage: true });
Banyak tapak web hari ini menggunakan JavaScript untuk memuatkan kandungan secara dinamik. Puppeteer bersinar di sini kerana ia melaksanakan JavaScript, membolehkan anda mengikis kandungan yang mungkin tidak kelihatan dalam sumber halaman.
Contoh: Mengekstrak Data Dinamik
javascript
Salin kod
tunggu page.goto('https://news.ycombinator.com');
tunggu page.waitForSelector('.storylink');
tajuk utama = halaman menanti.$$eval('.storylink', links => links.map(link => link.textContent));
console.log('Tajuk:', tajuk);
Sesetengah tapak web mempunyai langkah untuk menyekat bot. Puppeteer boleh membantu memintas cek mudah:
Gunakan Mod Stealth: Pasang pemalam tambahan boneka:
bash
Salin kod
npm pasang puppeteer-extra puppeteer-extra-plugin-stealth
Tambahkannya pada skrip anda:
javascript
Salin kod
const puppeteer = memerlukan('puppeteer-extra');
const StealthPlugin = memerlukan('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());
Tiru Tingkah Laku Manusia: Rawak tindakan seperti pergerakan tetikus dan kelajuan menaip untuk kelihatan lebih manusiawi.
Putar Ejen Pengguna: Tukar ejen pengguna penyemak imbas anda dengan setiap permintaan:
javascript
Salin kod
tunggu page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64)');
Selepas mengekstrak data, anda mungkin mahu menyimpannya. Berikut ialah beberapa format biasa:
JSON:
javascript
Salin kod
const fs = memerlukan('fs');
data const = { nama: 'Puppeteer', taip: 'library' };
fs.writeFileSync('data.json', JSON.stringify(data, null, 2));
CSV: Gunakan perpustakaan seperti csv-writer:
bash
Salin kod
npm pasang csv-writer
javascript
Salin kod
const createCsvWriter = memerlukan('csv-writer').createObjectCsvWriter;
const csvWriter = createCsvWriter({
laluan: 'data.csv',
pengepala: [
{ id: 'nama', tajuk: 'Nama' },
{ id: 'jenis', tajuk: 'Jenis' }
]
});
rekod const = [{ name: 'Puppeteer', type: 'library' }];
csvWriter.writeRecords(rekod).then(() => console.log('fail CSV ditulis.'));
Amalan Mengikis Web Beretika
Sebelum anda mengikis tapak web, ingatlah garis panduan etika ini:
Semak Syarat Perkhidmatan: Sentiasa pastikan tapak web membenarkan pengikisan.
Had Kadar Hormat: Elakkan menghantar terlalu banyak permintaan dalam masa yang singkat. Gunakan setTimeout atau halaman Puppeteer.waitForTimeout() untuk menjarakkan permintaan:
javascript
Salin kod
tunggu page.waitForTimeout(2000); // Tunggu selama 2 saat
Elakkan Data Sensitif: Jangan sekali-kali mengikis maklumat peribadi atau peribadi.
Halaman Tidak Dimuatkan Dengan Betul: Cuba tambahkan tamat masa yang lebih lama atau dayakan mod penyemak imbas penuh:
javascript
Salin kod
pelayar const = tunggu puppeteer.launch({ tanpa kepala: palsu });
Pemilih Tidak Berfungsi: Periksa tapak web menggunakan alat pembangun penyemak imbas (Ctrl Shift C) untuk mengesahkan pemilih.
Disekat oleh CAPTCHA: Gunakan pemalam stealth dan tiru tingkah laku manusia.
Atas ialah kandungan terperinci Cara Mengikis Web dengan Puppeteer: Panduan Mesra Pemula. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Terdapat beberapa cara untuk meletakkan kedudukan CSS
Bagaimana untuk menyemak rekod panggilan yang dipadamkan
Cara menggunakan fungsi datediff
python menggabungkan dua senarai
Apakah platform dagangan mata wang maya?
Ensiklopedia penggunaan Printf
Apakah pernyataan kemas kini mysql?
Apakah fail .Xauthority?
![[Web front-end] Permulaan pantas Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
