python - scrapy menangkap kandungan pendua tindak balas CNKI
黄舟
黄舟 2017-06-30 09:55:07
0
3
980

Lintas url yang meminta halaman bertukar

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

Hasilnya ialah permintaan respons berjaya, tetapi kandungannya adalah sama setiap kali Ia adalah kandungan permintaan pertama Walau bagaimanapun, menggunakan Posman untuk meminta URL yang dinomborkan secara berasingan tidak mempunyai masalah ini. == Pernahkah anda diharamkan?

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

membalas semua(3)
刘奇

Maka kita perlu menganalisis perbezaan antara pengepala yang diminta semasa mengakses menggunakan posmen atau pelayar dan meminta pengepala menggunakan scrapy

三叔

Diiktiraf oleh anti-merangkak

洪涛

Lihat log yang dicetak oleh konsol untuk melihat sama ada halaman seterusnya telah dirangkak dengan betul
2017-06-29 09:26:13 [scrapy] DEBUG: Dikikis daripada <200 http:xx/page/x>,
Perhatikan sama ada x terakhir (http:xx/page/x) telah berubah

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan