Python 크롤러 전문가 여러분, 이 웹사이트에서 크롤링 방지를 처리하는 방법을 살펴보고 알아보세요.

Question

https://www.everysaving.co.uk는 Python을 통해 이 웹사이트의 데이터를 크롤링하지만 데이터를 반환할 수 없습니다! 크롤링을 위해 헤더와 프록시 IP를 추가했지만 작동하지 않았습니다. . .

迷茫 · Answer

에이전트 액세스 웹사이트는 아래 사진에서 볼 수 있습니다:

https://www.17ce.com/을 통해 중국 본토가 거의 다 차단되고, HTTP 상태가 403을 반환하는 것을 확인했습니다.
이 웹사이트의 보안 정책 수준은 상대적으로 높으며, 크롤링 빈도를 줄이기 위해 유럽 및 미국의 익명성이 높은 프록시 VPN 또는 서버를 사용하는 것이 좋습니다.

为情所困 · Answer

Fiddler는 패킷을 캡처하므로 브라우저가 보내는 모든 것을 보낼 수 있습니다

迷茫 · Answer

브라우저를 통해 주소에 직접 접근할 수 없습니다. 차단되어 있나요?

过去多啦不再A梦 · Answer

직접 클릭하면 접속이 안되네요. 싱가폴에서 프록시로 테스트했는데 열리네요