我在做一只淘宝的爬虫,但是用的是香港的服务器,但是比较困惑:因为每次爬淘宝的首页时候,就自动给我跳转到香港淘宝~~导致源代码和内容都不一样~请问如果遇到这种情况要怎么处理呢?
简单来说,比如采集58同城如果我是泉州的,我想采集北京的,要怎么采集?
因为我用我的ip打开会总跳转到北京,但是直接想采集58首页的
?![图片上传中...]
ringa_lee
リダイレクトを無効にします。リクエストを例に挙げます:
北京から収集したい場合は、都市名を入力するだけですが、PGTIDによって保護されています
http://bj.58.com/?PGTID=0d000...
Jianyi はセレンを使用しています
場合によっては、サーバーが IP に対応する地理的位置情報に基づいてリダイレクトすることがあります。プロキシを見つける以外に方法はありません。 。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
リダイレクトを無効にします。リクエストを例に挙げます:
リーリー北京から収集したい場合は、都市名を入力するだけですが、PGTIDによって保護されています
http://bj.58.com/?PGTID=0d000...
Jianyi はセレンを使用しています
場合によっては、サーバーが IP に対応する地理的位置情報に基づいてリダイレクトすることがあります。プロキシを見つける以外に方法はありません。 。