需要爬取的网页需要登陆才可以获取,但是又对爬取ip有限制,所以我想要使用代理ip进行爬取;但是我在request的session中使用proxy后无法爬取到有信息的网页,所以猜想可能是代理地址没有进行头部转发,这里想请教一下大家!
特定のプロキシ IP ウェブサイトから IP を取得した場合、タイムアウトやその他の理由により、利用可能な IP のほとんどは、HTTP ヘッダーの処理に自動的に影響します。ご想像のとおり、問題はありません。プロキシ IP に問題があるはずです。私のプロキシ IP を見てください
特定のプロキシ IP ウェブサイトから IP を取得した場合、タイムアウトやその他の理由により、利用可能な IP のほとんどは、HTTP ヘッダーの処理に自動的に影響します。ご想像のとおり、問題はありません。プロキシ IP に問題があるはずです。私のプロキシ IP を見てください