python - scrapy merangkak lebih banyak halaman daripada memasukkan item?
PHP中文网
PHP中文网 2017-05-18 10:47:40
0
1
647

2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:
Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)

Mengapa saya melawati lebih banyak halaman daripada memasukkan item apabila saya menggunakan scrapy untuk merangkak
Cuma selepas merangkak untuk masa yang lama, tidak terdapat banyak data dalam item
Adakah ada cara untuk menyelesaikannya?

PHP中文网
PHP中文网

认证高级PHP讲师

membalas semua(1)
左手右手慢动作

Dilencongkan, seperti yang anda lihat, ubah hala memerlukan dua halaman. Semak juga untuk melihat sama ada terdapat sebarang ralat penghuraian halaman.

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan