84669 人が学習中
152542 人が学習中
20005 人が学習中
5487 人が学習中
7821 人が学習中
359900 人が学習中
3350 人が学習中
180660 人が学習中
48569 人が学習中
18603 人が学習中
40936 人が学習中
1549 人が学習中
1183 人が学習中
32909 人が学習中
scrapy を使用して Himalaya をクロールし、PC アドレスをクロールします。エントリ リンクの応答は問題ありませんが、その後の応答にはモバイル アドレスが表示されます。 。 。 。
スパイダーコードは次のとおりです:
コンソール出力:
middlewares.RotateUserAgentMiddleware を書きましたが、これは効果的で、出力内容も確認できます。
クロール防止メカニズムが作動しているのでしょうか?
应该是你的headers没有设置user-agent的原因
request headers 好好配置一下, 判断是不是移动端一般是靠user-agent啥都没有也能访问到数据，也说明目标网站没怎么在意防盗链
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
应该是你的headers没有设置user-agent的原因
request headers 好好配置一下, 判断是不是移动端一般是靠user-agent
啥都没有也能访问到数据，也说明目标网站没怎么在意防盗链