Requests模組是一個用於網路存取的模組,其實類似的模組有很多,例如urllib,urllib2,httplib,httplib2,他們基本上都提供相似的功能,那為什麼Requests模組就能夠脫引而出呢?可以打開它的官網看一下,是一個「人類「用的http模組。那麼,它究竟怎樣的人性化呢?相信如果你之前用過urllib之類的模組的話,對比下就會發現它確實很人性化。
下載完成後,導入模組很簡單,程式碼如下:
import requests
這裡我們列出最常見的發送get或者post請求的語法。
r=requests.get("//m.sbmmt.com/justTest")
現在,我們得到了一個回應物件r,我們可以利用這個物件來得到我們想要的任何資訊。
上面的範例中,get請求沒有任何參數,那如果請求需要參數怎麼辦呢?
payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get("//m.sbmmt.com/justTest", params=payload)
以上得知,我們的get參數是以params關鍵字參數傳遞的。
我們可以列印請求的具體url來看看到底對不對:
>>>print r.url //m.sbmmt.com/justTest?key2=value2&key1=value1
可以看到確實訪問了正確的url。
也可以傳遞一個list給一個請求參數:
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']} >>> r = requests.get("//m.sbmmt.com/justTest", params=payload) >>> print r.url //m.sbmmt.com/justTest?key1=value1&key2=value2&key2=value3
以上就是get請求的基本形式。
r = requests.post("//m.sbmmt.com/postTest", data = {"key":"value"})
以上得知,post請求參數是以data關鍵字參數傳遞的。
現在的data參數傳遞的是字典,我們也可以傳遞一個json格式的數據,如下:
>>> import json >>> import requests >>> payload = {"key":"value"} >>> r = requests.post("//m.sbmmt.com/postTest", data = json.dumps(payload))
由於發送json格式數據太常見了,所以在Requests模組的高版本中,又加入了json這個關鍵字參數,可以直接傳送json資料給post請求而不用再使用json模組了,請看下:
>>> payload = {"key":"value"} >>> r = requests.post("//m.sbmmt.com/postTest", json=payload)
如果我們想post一個檔案怎麼辦呢?這時候就需要用到files參數了:
>>> url = '//m.sbmmt.com/postTest' >>> files = {'file': open('report.xls', 'rb')} >>> r = requests.post(url, files=files) >>> r.text
我們還可以在post檔案時指定檔案名稱等額外的資訊:
>>> url = '//m.sbmmt.com/postTest' >>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})} >>> r = requests.post(url, files=files)
tips:強烈建議使用二進位模式開啟文件,因為如果以文字檔案格式開啟時,可能會因為「Content-Length」這個header而出錯。
可以看到,使用Requests發送請求簡單吧!
下面我們來看下發送請求後如何取得回傳訊息。我們繼續使用最上面的範例:
>>> import requests >>> r=requests.get('//m.sbmmt.com/justTest') >>> r.text
r.text是以什麼編碼格式輸出的呢?
>>> r.encoding 'utf-8'
原來是以utf-8格式輸出的。那如果我想改一下r.text的輸出格式呢?
>>> r.encoding = 'ISO-8859-1'
這樣就把輸出格式改為「ISO-8859-1」了。
還有一個輸出語句,叫r.content,那這個跟r.text有什麼差別呢? r.content回傳的是位元組流,如果我們要求一個圖片位址並且要儲存圖片的話,就可以用到,這裡舉個程式碼片段如下:
def saveImage( imgUrl,imgName ="default.jpg" ): r = requests.get(imgUrl, stream=True) image = r.content destDir="D:\" print("保存图片"+destDir+imgName+"\n") try: with open(destDir+imgName ,"wb") as jpg: jpg.write(image) return except IOError: print("IO Error") return finally: jpg.close
剛才介紹的r.text回傳的是字串,那麼,如果請求對應的回應是個json,那我可不可以直接拿到json格式的資料呢? r.json()就是為這個準備的。
我們還可以拿到伺服器回傳的原始數據,使用r.raw.read()就可以了。不過,如果你確實要拿到原始回傳資料的話,記得在請求時加上「stream=True」的選項,如:
r = requests.get('https://api.github.com/events', stream=True)。
我們也可以得到回應狀態碼:
>>> r = requests.get('//m.sbmmt.com/justTest') >>> r.status_code 200
也可以用requests.codes.ok來指稱200這個回傳值:
>>> r.status_code == requests.codes.ok True
我們可以列印出回應頭:
>>> r= requests.get("//m.sbmmt.com/justTest") >>> r.headers
#`r .headers`回傳的是一個字典,例如:
{ 'content-encoding': 'gzip', 'transfer-encoding': 'chunked', 'connection': 'close', 'server': 'nginx/1.0.4', 'x-runtime': '147ms', 'etag': '"e1ca502697e5c9317743dc078f67693a"', 'content-type': 'application/json' }
我們可以使用以下方法來取得部分回應頭以做判斷:
r.headers['Content-Type']
或
r.headers.get('Content-Type')
如果我們想取得請求頭(也就是我們傳送給伺服器的頭資訊)該怎麼辦呢?可以使用r.request.headers直接取得。
同時,我們在請求資料時也可以加上自訂的headers(透過headers關鍵字參數傳遞):
>>> headers = {'user-agent': 'myagent'} >>> r= requests.get("//m.sbmmt.com/justTest",headers=headers)
如果一個回應包含cookies的話,我們可以使用下面方法來得到它們:
>>> url = '//m.sbmmt.com' >>> r = requests.get(url) >>> r.cookies['example_cookie_name'] 'example_cookie_value'
我們也可以發送自己的cookie(使用cookies關鍵字參數):
>>> url = '//m.sbmmt.com/cookies' >>> cookies={'cookies_are':'working'} >>> r = requests.get(url, cookies=cookies)
有時候我們在請求url時,伺服器會自動把我們的請求重定向,例如github會把我們的http請求重定向為https請求。我們可以使用r.history來查看重定向:
>>> r = requests.get('//m.sbmmt.com/') >>> r.url 'http://pythontab.com/' >>> r.history []
從上面的例子中可以看到,我們使用http協議訪問,結果在r.url中,打印的卻是https協議。那如果我非要伺服器使用http協議,也就是禁止伺服器自動重定向,該怎麼辦呢?使用allow_redirects 參數:
r = requests.get('//m.sbmmt.com', allow_redirects=False)
我們可以使用timeout參數來設定url的請求超時時間(時間單位為秒):
requests.get('//m.sbmmt.com', timeout=1)
我們也可以在程式中指定代理程式來進行http或https存取(使用proxies關鍵字參數),如下:
proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } requests.get("//m.sbmmt.com", proxies=proxies)
我们有时候会有这样的情况,我们需要登录某个网站,然后才能请求相关url,这时就可以用到session了,我们可以先使用网站的登录api进行登录,然后得到session,最后就可以用这个session来请求其他url了:
s=requests.Session() login_data={'form_email':'youremail@example.com','form_password':'yourpassword'} s.post("//m.sbmmt.com/testLogin",login_data) r = s.get('//m.sbmmt.com/notification/') print r.text
其中,form_email和form_password是豆瓣登录框的相应元素的name值。
使用Requests模块也可以下载网页,代码如下:
r=requests.get("//m.sbmmt.com") with open("haha.html","wb") as html: html.write(r.content) html.close()
以上是Python之Requests模組使用詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章!