Python - Scrapy は CNKI 応答の重複コンテンツをキャプチャします

Question

ページめくりをリクエストする URL {code...} をトラバースすると、応答リクエストは成功しますが、内容は毎回同じです。これは最初のリクエストの内容です。ただし、Postman を使用してページング URL を個別にリクエストすると、この問題があります。 = = 禁止されたことがありますか? 以前はこのようなことはありませんでした。

怪我咯 · Answer

次に、postman またはブラウザを使用するときに要求されるヘッダーと、scrapy を使用するときに要求されるヘッダーの違いを分析する必要があります

三叔 · Answer

アンチクロールによって認識されています

PHP中文网 · Answer

次のページが正しくクロールされているかどうかを確認するには、コンソールによって出力されたログを見てください
2017-06-29 09:26:13 [scrapy] DEBUG: からスクレイピングされました、
Pay最後のx (http:xx/page/x) が変わっているかどうかに注目してください