Python – Scrapy erfasst doppelten Inhalt der CNKI-Antwort
黄舟
黄舟 2017-06-30 09:55:07
0
3
981

Überqueren Sie die URL, um das Umblättern anzufordern

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

Das Ergebnis ist, dass die Antwortanforderung erfolgreich ist, der Inhalt jedoch jedes Mal derselbe ist. Bei der Verwendung von Postman zum separaten Anfordern der paginierten URLs tritt dieses Problem jedoch nicht auf. = = Wurdest du gesperrt? So war es noch nie

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

Antworte allen(3)
刘奇

那就要分析一下用postman或者浏览器访问时请求的header头和用scrapy请求头有什么区别

三叔

被反爬识别到了

洪涛

看下控制台打印的log,看看是否正确抓取了下一页
2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,
注意最后一个x(http:xx/page/x)是否是变化的

Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage