我在做一只淘宝的爬虫,但是用的是香港的服务器,但是比较困惑:因为每次爬淘宝的首页时候,就自动给我跳转到香港淘宝~~导致源代码和内容都不一样~请问如果遇到这种情况要怎么处理呢?
简单来说,比如采集58同城如果我是泉州的,我想采集北京的,要怎么采集?
因为我用我的ip打开会总跳转到北京,但是直接想采集58首页的
?![图片上传中...]
ringa_lee
리디렉션 비활성화, 요청 예시:
베이징에서 수집할 경우 도시명만 입력하면 되지만 PGTID로 보호됩니다
http://bj.58.com/?PGTID=0d000...
Jianyi는 셀레늄을 사용합니다
때때로 서버는 귀하의 IP에 해당하는 지리적 위치 정보를 기반으로 리디렉션됩니다. 프록시를 찾는 것 외에는 다른 방법이 없습니다. .
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
리디렉션 비활성화, 요청 예시:
으아아아베이징에서 수집할 경우 도시명만 입력하면 되지만 PGTID로 보호됩니다
http://bj.58.com/?PGTID=0d000...
Jianyi는 셀레늄을 사용합니다
때때로 서버는 귀하의 IP에 해당하는 지리적 위치 정보를 기반으로 리디렉션됩니다. 프록시를 찾는 것 외에는 다른 방법이 없습니다. .