首頁 > 後端開發 > Python教學 > python爬蟲如何設定代理ip

python爬蟲如何設定代理ip

coldplay.xixi
發布: 2020-08-22 10:51:40
原創
13360 人瀏覽過

python爬蟲設定代理ip的方法:先寫入取得到的ip位址到proxy;然後用百度偵測ip代理是否成功,並請求網頁傳的參數;最後傳送get請求,並取得回傳頁面儲存到本地。

python爬蟲如何設定代理ip

相關學習推薦:#python教學##】

python爬蟲設定代理ip的方法:

設定ip代理程式是爬蟲必不可少的技巧;

查看本機ip位址;開啟百度,輸入「ip位址”,可以看到本機的IP位址;

python爬蟲如何設定代理ip

 

本文使用的是goubanjia.com裡面的免費ip;

python爬蟲如何設定代理ip

 

 使用時請注意傳輸協定是http還是https,程式碼如下;

# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
    'https':'221.178.232.130:8080'
}
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
    'wd':'ip地址'
}
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地,便于查看
with open('ip.html','w',encoding='utf-8') as f:
    f.write(response.text)
登入後複製

開啟存入的「ip.html」查看內容如下;

python爬蟲如何設定代理ip

以上是python爬蟲如何設定代理ip的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板