Baidu mungkin mempunyai tetapan seperti perangkak Anda perlu menyamar dan mentakrifkan UA atau sesuatu seperti itu Rujukan: http://www.4wei.cn/archives/396
Ini bukan masalah jenis Snoopy. Ini kerana anda tidak tahu banyak tentang crawler. Oleh kerana terdapat crawler, sudah tentu akan ada teknologi anti-crawler. Yang paling mudah adalah berdasarkan pengecam penyemak imbas atau perujuk dalam pengepala permintaan, dsb. Tapak web besar seperti Baidu dan Tencent tidak mahu kami merangkak data, jadi mereka mesti telah mengambil banyak langkah pencegahan. Oleh itu, adalah disyorkan untuk memahami pengetahuan crawler sebelum merangkak data.
![[Web front-end] Permulaan pantas Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
Baidu mungkin mempunyai tetapan seperti perangkak Anda perlu menyamar dan mentakrifkan UA atau sesuatu seperti itu
Rujukan: http://www.4wei.cn/archives/396
Ini bukan masalah jenis Snoopy. Ini kerana anda tidak tahu banyak tentang crawler. Oleh kerana terdapat crawler, sudah tentu akan ada teknologi anti-crawler. Yang paling mudah adalah berdasarkan pengecam penyemak imbas atau perujuk dalam pengepala permintaan, dsb. Tapak web besar seperti Baidu dan Tencent tidak mahu kami merangkak data, jadi mereka mesti telah mengambil banyak langkah pencegahan. Oleh itu, adalah disyorkan untuk memahami pengetahuan crawler sebelum merangkak data.