Liebe Python-Crawler-Experten, werfen Sie einen Blick darauf, wie Sie mit dem Anti-Crawling dieser Website umgehen können.

Question

https://www.every saving.co.uk crawlt die Daten dieser Website über Python, die Daten können jedoch nicht zurückgegeben werden! Ich habe den Header und die Proxy-IP zum Crawlen hinzugefügt, aber es hat nicht funktioniert. Ich hoffe, ihr könnt es versuchen. . .

迷茫 · Answer

代理访问网站可见下图：

通过https://www.17ce.com/，发现大陆几乎都被屏蔽了，Http状态返回403。
此网站的安全策略级别比较高，建议使用欧美地区的高匿代理 VPN或者服务器，降低抓取频次。

为情所困 · Answer

fiddler抓包，浏览器发什么你就发什么

迷茫 · Answer

你这个地址直接通过浏览器也访问不了呀，被墙了吧？

过去多啦不再A梦 · Answer

我直接点开是不能访问的，测试用了新加坡的代理可以打开