需要爬取的网页需要登陆才可以获取,但是又对爬取ip有限制,所以我想要使用代理ip进行爬取;但是我在request的session中使用proxy后无法爬取到有信息的网页,所以猜想可能是代理地址没有进行头部转发,这里想请教一下大家!
특정 프록시 IP 웹사이트에서 IP를 가져오면 대부분 사용할 수 없습니다. 사용 가능한 IP는 시간 초과 및 기타 이유로 인해 자동으로 HTTP 헤더 처리에 영향을 줍니다. 짐작하신 대로 문제 없습니다. 프록시 IP에 문제가 있을 것입니다. 내 프록시 IP를 살펴보세요
특정 프록시 IP 웹사이트에서 IP를 가져오면 대부분 사용할 수 없습니다. 사용 가능한 IP는 시간 초과 및 기타 이유로 인해 자동으로 HTTP 헤더 처리에 영향을 줍니다. 짐작하신 대로 문제 없습니다. 프록시 IP에 문제가 있을 것입니다. 내 프록시 IP를 살펴보세요