84669 人學習
152542 人學習
20005 人學習
5487 人學習
7821 人學習
359900 人學習
3350 人學習
180660 人學習
48569 人學習
18603 人學習
40936 人學習
1549 人學習
1183 人學習
32909 人學習
需要爬取的网页需要登陆才可以获取,但是又对爬取ip有限制,所以我想要使用代理ip进行爬取;但是我在request的session中使用proxy后无法爬取到有信息的网页,所以猜想可能是代理地址没有进行头部转发,这里想请教一下大家!
如果是從某個代理ip網站上抓取的ip,絕大部分是不可用的,可用的也因為超時等原因影響程序的穩定性,requests會自動幫你對HTTP頭部的處理了,不存在你猜想的問題,應該是你代理ip的問題,看看我的使用代理ip
如果是從某個代理ip網站上抓取的ip,絕大部分是不可用的,可用的也因為超時等原因影響程序的穩定性,requests會自動幫你對HTTP頭部的處理了,不存在你猜想的問題,應該是你代理ip的問題,看看我的使用代理ip
![](http://img.php.cn/upload/image/000/000/000/afe59be196092ddc8dbba7f27fa13c6b-0.png)