python - 除了代理ip,香港的服务器爬取国内网站还有更好的方法吗?

Question

我在做一只淘宝的爬虫,但是用的是香港的服务器,但是比较困惑:因为每次爬淘宝的首页时候,就自动给我跳转到香港淘宝~~导致源代码和内容都不一样~请问如果遇到这种情况要怎么处理呢? 简单来说,比如采集58同城如果我...

PHP中文网 · Answer

禁止重定向，以requests为例子：

r = requests.get('http://github.com/', allow_redirects=False)
r.status_code  # 302
r.url  # http://github.com, not https.
r.headers['Location']  # https://github.com/ -- the redirect destination

PHP中文网 · Answer

如果是想采集的北京的，就去打子城名，不过有PGTID保护

http://bj.58.com/?PGTID=0d000...

建义使用selenium

迷茫 · Answer

有时候服务器会根据你的ip对应的地理位置信息作重定向的，这个你除了找代理应该没有别的方法了。。

php8，我来也

30分钟学会网站布局

尚观Oracle入门到精通视频教程

你的第一行 UNI-APP 代码

Flutter 从头到应用启动

兄弟连Linux新版视频教程

AXURE 9视频教程（适合产品经理交互产品设计UI）

零基础PS视频教程

16天带你入门UI视频教程

PS技巧和切片技巧视频教程

阿里云环境搭建以及项目上线视频教程

计算机网络概述——程序员必须掌握的基础知识

程序员必备教程——HTTP协议讲解

Websocket视频教程