python爬蟲設定代理ip的方法:先寫入取得到的ip位址到proxy;然後用百度偵測ip代理是否成功,並請求網頁傳的參數;最後傳送get請求,並取得回傳頁面儲存到本地。
【相關學習推薦:#python教學##】
python爬蟲設定代理ip的方法:
設定ip代理程式是爬蟲必不可少的技巧;查看本機ip位址;開啟百度,輸入「ip位址”,可以看到本機的IP位址; 本文使用的是goubanjia.com裡面的免費ip; 使用時請注意傳輸協定是http還是https,程式碼如下;# 用到的库 import requests # 写入获取到的ip地址到proxy proxy = { 'https':'221.178.232.130:8080' } # 用百度检测ip代理是否成功 url = 'https://www.baidu.com/s?' # 请求网页传的参数 params={ 'wd':'ip地址' } # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36' } # 发送get请求 response = requests.get(url=url,headers=headers,params=params,proxies=proxy) # 获取返回页面保存到本地,便于查看 with open('ip.html','w',encoding='utf-8') as f: f.write(response.text)
以上是python爬蟲如何設定代理ip的詳細內容。更多資訊請關注PHP中文網其他相關文章!