遍歷請求翻頁的url
for i in range(3): yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)
結果response請求成功 但是每次內容都一樣的沒變化都是第一次請求時的內容，但是用postman分別請求分頁的url就沒有這問題。 = = 是被ban了嗎 之前就不會這樣
人生最曼妙的风景，竟是内心的淡定与从容！
那就要分析一下用postman或是瀏覽器存取時請求的header頭和用scrapy請求頭有什麼差別
被反爬識別到了
看下控制台列印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from ,注意最後一個x(http:xx/page/x)是否是變化的
那就要分析一下用postman或是瀏覽器存取時請求的header頭和用scrapy請求頭有什麼差別
被反爬識別到了
看下控制台列印的log，看看是否正確抓取了下一頁
2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from ,
注意最後一個x(http:xx/page/x)是否是變化的