CRAWLING WEB LANGUS

Artikel ini bertujuan untuk mengajar cara menggunakan bahasa R untuk memproses data laman web yang dimuat secara dinamik melalui JavaScript. Sebagai tindak balas kepada cabaran yang merangkak web tradisional seperti XML atau RVEST tidak dapat secara langsung memperoleh data tersebut, artikel itu akan memperkenalkan secara terperinci bagaimana untuk mensimulasikan persekitaran pelaksanaan JavaScript menggunakan pakej V8 untuk mengekstrak data yang diperlukan secara langsung dari fail JavaScript. Melalui kes tertentu, kami akan menunjukkan cara mengenal pasti sumber data, mendapatkan kandungan JavaScript, menjalankan kod JavaScript dalam persekitaran R, dan membersihkan dan menyusun data yang diekstrak, untuk mendapatkan maklumat laman web yang dihasilkan secara dinamik dan tepat.

1. Cabaran data web dinamik merangkak

Dalam pengikis data web (mengikis web), kita sering menghadapi situasi di mana data tidak tertanam secara langsung dalam struktur HTML, tetapi secara dinamik dihasilkan melalui JavaScript. Pakej tradisional R, seperti XML atau RVEST, bergantung terutamanya pada kandungan HTML statik parsing. Apabila data sasaran diminta oleh JavaScript (AJAX) atau terus tertanam dalam pembolehubah JavaScript, alat -alat ini sering gagal untuk mendapatkan maklumat yang diperlukan secara langsung.

Mengambil contoh merangkak senarai negara dari https://www.fatf-gafi.org/countries/ laman web sebagai percubaan awal untuk menggunakan xml :: htmlParse mungkin tidak dapat memperoleh data negara yang dijangkakan, Dalam kes ini, kita memerlukan penyelesaian yang dapat melaksanakan kod JavaScript dan mengakses pembolehubah dalamannya.

2. Penyelesaian: Jalankan JavaScript dengan pakej V8

Pakej V8 bahasa R menyediakan enjin JavaScript dan webassembly tertanam, yang membolehkan kami melaksanakan kod JavaScript dalam persekitaran R dan berinteraksi dengan persekitaran runtime JavaScript. Ini bermakna kita boleh memuatkan fail JavaScript yang digunakan di laman web, melaksanakan kod di dalamnya, dan kemudian mengeluarkan nilai pembolehubah yang ditakrifkan dalam JavaScript.

Idea Teras:

1. Kenal pasti sumber data JavaScript: Semak sumber yang diminta semasa memuatkan laman web, terutamanya fail .js, melalui alat pemaju pelayar (tab rangkaian/rangkaian), dan cari fail JavaScript yang mungkin mengandungi data sasaran.
2. Dapatkan Kandungan JavaScript: Gunakan pakej HTTR untuk memuat turun kandungan fail JavaScript.
3. Inisialisasi enjin V8: Buat konteks V8.
4. Jalankan Kod JavaScript: Laksanakan kandungan JavaScript yang dimuat turun dalam konteks V8.
5. Ekstrak Pembolehubah: Dapatkan nilai pembolehubah JavaScript dari konteks V8.
6. Pembersihan Data: Melakukan penukaran format yang diperlukan dan pembersihan data yang diekstrak.

3. Kes Praktikal: merangkak data kebangsaan dari laman web FATF

Kami akan menggunakan laman web FATF (Pasukan Petugas Tindakan Kewangan) sebagai contoh untuk menunjukkan cara merangkak senarai negara.

3.1 Kenal pasti sumber data

Dengan melawat https://www.fatf-gafi.org/countries/ dan membuka alat pemaju penyemak imbas, dalam tab "rangkaian" atau "rangkaian", kita dapat melihat bahawa fail JavaScript bernama negara-data-multi-lang.js akan diminta semasa proses pemuatan halaman. Telah terbukti bahawa fail ini mengandungi semua data negara yang kita perlukan, dan wujud dalam pembolehubah array JavaScript yang dipanggil negara.

URL penuh fail JavaScript biasanya: https://www.fatf-gafi.org/media/fatf/fatfv20/js/country-data-multi-lang.js.

3.2 Langkah Pelaksanaan dan Contoh Kod

Pertama, pastikan anda telah memasang pakej R yang diperlukan: HTTR, V8, DPLYR, dan Tidyr.

 # Muatkan perpustakaan perpustakaan yang diperlukan (HTTR) # digunakan untuk menghantar Perpustakaan Permintaan HTTP (V8) # digunakan untuk melaksanakan JavaScript
Perpustakaan (Dplyr) # Untuk Perpustakaan Operasi Data (Tidyr) # Untuk penyortiran data, terutamanya fungsi Uncest # 1. Tentukan URL Fail Data JavaScript
js_url  %
  UNDEST (cols = c (kumpulan)) %> % # memperluaskan lajur 'kumpulan' bersarang pilih (c (1: 2, 4:14, 16)) %> % # pilih lajur tertentu yang mengandungi nama negara, kod dan penapis maklumat organisasi yang berkaitan (!
# str (final_country_data) # Lihat struktur data

3.3 Penjelasan kod

• http :: get () dan kandungan () : Digunakan untuk memulakan permintaan HTTP dan dapatkan kandungan respons. Parameter 'teks' memastikan bahawa kandungan itu dihuraikan ke dalam rentetan.
• V8 () : Mewujudkan contoh enjin V8, yang menyediakan persekitaran JavaScript yang berdiri sendiri.
• CT $ EVAL (JS_Content) : Ini adalah langkah teras. Ia akan melaksanakan kod JavaScript yang dimuat turun dari laman web dalam enjin V8. Selepas pelaksanaan, mana -mana pembolehubah global yang ditakrifkan dalam kod JavaScript ini (seperti negara dalam kes ini) boleh diakses dalam R.
• CT $ GET ("Negara") : Ekstrak nilai pembolehubah JavaScript bernama negara dari enjin V8. Pakej V8 secara automatik akan menukarnya ke struktur data yang sepadan dalam R (biasanya senarai atau bingkai data).
• Unsnest (cols = c (kumpulan)) : diperhatikan bahawa dalam bingkai data yang dikembalikan oleh CT $ GET ("Negara") terdapat lajur bernama kumpulan, di dalamnya adalah senarai bersarang atau bingkai data. Fungsi unnest () (dari pakej Tidyr) digunakan untuk mengembangkan struktur bersarang ini ke dalam lajur rata, menjadikan data lebih mudah untuk dianalisis.
• Pilih (C (1: 2, 4:14, 16)) : Selepas operasi yang tidak jelas, bingkai data mungkin mengandungi lajur atau lajur yang berlebihan yang perlu disusun semula. Di sini kami memilih lajur yang anda perlukan mengikut indeks lajur. Dalam aplikasi praktikal, disyorkan untuk mencetak nama (final_country_data) atau gunakan GLIMPSE () untuk melihat semua nama lajur, dan kemudian pilih dengan nama untuk meningkatkan kebolehbacaan dan keteguhan kod.
• penapis (! is.na (nama)) : penapis baris yang lajur namanya adalah Na (nilai yang tidak dijawab). Dalam beberapa sumber data, mungkin terdapat baris kosong diisi pada akhir, yang boleh dibersihkan dengan cara ini.

4. Langkah berjaga -jaga dan ringkasan

• JavaScript Sumber Positioning: Mencari fail JavaScript yang betul adalah kunci. Mahir dalam menggunakan alat pemaju penyemak imbas (terutamanya rangkaian rangkaian/rangkaian dan sumber/sumber) adalah kemahiran yang mesti dimiliki.
• Eksplorasi Struktur Data: Data yang diambil dari V8 boleh menjadi senarai bersarang yang kompleks. Gunakan str (), nama (), sekilas () dan fungsi lain untuk meneroka strukturnya supaya pembersihan data digunakan dengan betul oleh fungsi seperti unnest (), pilih () dan fungsi lain.
• Kerumitan kandungan dinamik: Tidak semua kandungan dinamik boleh diekstrak secara langsung melalui V8. Jika data dimuatkan melalui operasi DOM kompleks, interaksi pengguna atau penyulitan, alat yang lebih maju seperti selenium dan pelayar tanpa kepala mungkin diperlukan untuk simulasi. Tetapi untuk kes di mana data wujud secara langsung dalam pembolehubah JavaScript, V8 adalah pilihan yang ringan dan cekap.
• Dasar Laman Web: Sebelum menjalankan sebarang aktiviti merangkak web, pastikan anda menyemak fail robots.txt laman web dan terma penggunaan untuk memastikan tingkah laku anda mematuhi peraturan laman web.

Melalui kajian artikel ini, anda harus dapat menguasai kaedah asas menggunakan pakej bahasa R V8 untuk mengendalikan data pemuatan dinamik JavaScript. Teknologi ini sangat memperluaskan keupayaan R untuk merangkak data laman web, yang membolehkannya mengatasi struktur web moden yang lebih kompleks.

Atas ialah kandungan terperinci CRAWLING WEB LANGUS. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!