python - 除了代理ip,香港的服务器爬取国内网站还有更好的方法吗?

Question

我在做一只淘宝的爬虫,但是用的是香港的服务器,但是比较困惑:因为每次爬淘宝的首页时候,就自动给我跳转到香港淘宝~~导致源代码和内容都不一样~请问如果遇到这种情况要怎么处理呢? 简单来说,比如采集58同城如果我...

PHP中文网 · Answer

Lumpuhkan ubah hala, ambil permintaan sebagai contoh:

r = requests.get('http://github.com/', allow_redirects=False)
r.status_code  # 302
r.url  # http://github.com, not https.
r.headers['Location']  # https://github.com/ -- the redirect destination

PHP中文网 · Answer

Jika anda ingin mengumpul dari Beijing, masukkan sahaja nama bandar, tetapi ia dilindungi oleh PGTID

http://bj.58.com/?PGTID=0d000...

Jianyi menggunakan selenium

迷茫 · Answer

Kadangkala pelayan akan mengubah hala berdasarkan maklumat lokasi geografi yang sepadan dengan IP anda. Anda sepatutnya tidak mempunyai cara lain kecuali untuk mencari proksi. .