파이썬의 urllib 라이브러리의 사용법과 방법, 파이썬의 네트워크 데이터 수집 Urllib 라이브러리의 기본 사용법, 파이썬의 urllib의 고급 사용법에 대해 이야기해봤습니다.
오늘은 Python에서 Requests 라이브러리를 사용하는 방법을 알아 보겠습니다.
pip 패키지(Python 패키지 관리 도구, Baidu를 사용할 수 있는지는 모르겠습니다)를 설치한 경우 pip를 사용하여 설치합니다. Python(x, y) 또는 anaconda와 같은 통합 환경에서는 pip를 사용하여 Python 라이브러리를 직접 설치할 수 있습니다.
$ pip install requests
설치가 완료된 후 기본 방법을 살펴보겠습니다.
#get请求方法
>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
#打印get请求的状态码
>>> r.status_code
200
#查看请求的数据类型，可以看到是json格式，utf-8编码
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
#打印请求到的内容
>>> r.text
u'{"type":"User"...'
#输出json格式数据
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}작은 밤나무를 살펴보겠습니다.
#小例子 import requests r = requests.get('http://www.baidu.com') print type(r) print r.status_code print r.encoding print r.text print r.cookies '''请求了百度的网址，然后打印出了返回结果的类型，状态码，编码方式，Cookies等内容 输出：''' <class 'requests.models.Response'> 200 UTF-8 <RequestsCookieJar[]>
requests library http의 모든 기본 요청 방식을 제공합니다. 예:
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")r = requests.get("http://httpbin.org/get")
#如果想要加参数，可以利用 params 参数：
import requests
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print r.url
#输出：http://httpbin.org/get?key2=value2&key1=value1JSON 파일을 요청하려면 json() 메서드를 사용하여 이를 구문 분석할 수 있습니다. 예를 들어 JSON 파일을 직접 작성하고 다음 내용으로 이름을 a.json으로 지정합니다.
["foo", "bar", {
"foo": "bar"
}]
#利用如下程序请求并解析：
import requests
r = requests.get("a.json")
print r.text
print r.json()
'''运行结果如下，其中一个是直接输出内容，另外一个方法是利用 json() 方法
解析，感受下它们的不同:'''
["foo", "bar", {
"foo": "bar"
}]
[u'foo', u'bar', {u'foo': u'bar'}]서버에서 원시 소켓 응답을 얻으려면 r.raw를 얻을 수 있습니다. 그러나 초기 요청에서는 stream=True를 설정해야 합니다.
r = requests.get('https://github.com/timeline.json', stream=True) r.raw #输出 <requests.packages.urllib3.response.HTTPResponse object at 0x101194810> r.raw.read(10) '\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'
이러한 방식으로 웹페이지의 원본 소켓 콘텐츠를 얻습니다.
헤더를 추가하려면 헤더 매개변수를 전달할 수 있습니다:
import requests
payload = {'key1': 'value1', 'key2': 'value2'}
headers = {'content-type': 'application/json'}
r = requests.get("http://httpbin.org/get", params=payload, headers=headers)
print r.url
#通过headers参数可以增加请求头中的headers信息POST 요청의 경우 일반적으로 몇 가지 매개변수를 추가해야 합니다. 그러면 가장 기본적인 매개변수 전달 방법은 data 매개변수를 사용할 수 있습니다.
import requests
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload)
print r.text
#运行结果如下：
{
"args": {},
"data": "",
"files": {},
"form": {
"key1": "value1",
"key2": "value2"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "23",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "http://httpbin.org",
"User-Agent": "python-requests/2.9.1"
},
"json": null,
"url": "http://httpbin.org/post"
}매개변수가 성공적으로 전달된 다음 서버에서 우리가 전달한 데이터를 반환한 것을 볼 수 있습니다.
보내야 하는 정보가 양식 형식이 아닌 경우가 있습니다. JSON 형식으로 데이터를 보내야 하므로 json.dumps() 메서드를 사용하여 양식 데이터를 직렬화할 수 있습니다.
import json
import requests
url = 'http://httpbin.org/post'
payload = {'some': 'data'}
r = requests.post(url, data=json.dumps(payload))
print r.text
#运行结果：
{
"args": {},
"data": "{\"some\": \"data\"}",
"files": {},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "16",
"Host": "http://httpbin.org",
"User-Agent": "python-requests/2.9.1"
},
"json": {
"some": "data"
},
"url": "http://httpbin.org/post"
}위의 방법을 통해 JSON 형식으로 데이터를 POST할 수 있습니다
파일을 업로드하려면 file 매개변수를 직접 사용하세요:
#新建一个 test.txt 的文件，内容写上 Hello World!
import requests
url = 'http://httpbin.org/post'
files = {'file': open('test.txt', 'rb')}
r = requests.post(url, files=files)
print r.text
{
"args": {},
"data": "",
"files": {
"file": "Hello World!"
},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "156",
"Content-Type": "multipart/form-data; boundary=7d8eb5ff99a04c11bb3e862ce78d7000",
"Host": "http://httpbin.org",
"User-Agent": "python-requests/2.9.1"
},
"json": null,
"url": "http://httpbin.org/post"
}이런 식으로 성공적으로 완료하겠습니다. 파일을 업로드했습니다.
요청은 스트리밍 업로드를 지원하므로 대용량 데이터 스트림이나 파일을 먼저 메모리로 읽지 않고도 보낼 수 있습니다. 스트리밍 업로드를 사용하려면 요청 본문에 파일과 유사한 객체를 제공하면 됩니다. 이는 매우 편리합니다.
with open('massive-body') as f: requests.post('http://some.url/streamed', data=f)
응답에 쿠키가 포함된 경우 쿠키 가져오기 변수를 사용할 수 있습니다. :
import requests url = 'Example Domain' r = requests.get(url) print r.cookies print r.cookies['example_cookie_name']
위 프로그램은 샘플일 뿐이며, 쿠키 변수를 사용하여 해당 사이트의 쿠키를 가져올 수 있습니다
또한 쿠키 변수를 사용하여 사이트에 쿠키 정보를 보낼 수 있습니다. 서버:
import requests
url = 'http://httpbin.org/cookies'
cookies = dict(cookies_are='working')
r = requests.get(url, cookies=cookies)
print r.text
#输出：
'{"cookies": {"cookies_are": "working"}}'timeout 변수를 사용하여 최대 요청 시간을 구성할 수 있습니다
requests.get(‘Build software better, together’, timeout=0.001)
참고: 시간 초과는 연결 프로세스에만 유효하며 관련 작업은 없습니다. 응답 본문 다운로드를 수행합니다.
즉, 이번에는 요청한 시간만 제한하는 것입니다. 반환된 응답에 많은 양의 콘텐츠가 포함되어 있는 경우에도 다운로드하는 데 다소 시간이 걸립니다.
위 요청에서 각 요청은 실제로 새 요청을 시작하는 것과 동일합니다. 이는 다른 브라우저를 사용하여 각 요청을 별도로 여는 것과 같습니다. 즉, 동일한 URL을 요청하더라도 세션을 참조하지 않습니다. 예:
import requests
requests.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = requests.get("http://httpbin.org/cookies")
print(r.text)
#结果是：
{
"cookies": {}
}분명히 이것은 세션에 있지 않으며 쿠키를 얻을 수 없습니다. 그러면 일부 사이트에서 지속적인 세션을 유지해야 하는 경우 어떻게 해야 합니까? 브라우저를 사용하여 Taobao를 검색하는 것과 마찬가지로 여러 탭 사이를 이동하면 실제로 장기 세션이 생성됩니다.
해결 방법은 다음과 같습니다.
import requests
s = requests.Session()
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get("http://httpbin.org/cookies")
print(r.text)
#在这里我们请求了两次，一次是设置 cookies，一次是获得 cookies
{
"cookies": {
"sessioncookie": "123456789"
}
}는 쿠키를 성공적으로 얻을 수 있음을 발견하여 세션을 설정했습니다.
세션은 전역 변수이므로 전역 구성에 확실히 사용할 수 있습니다.
import requests
s = requests.Session()
s.headers.update({'x-test': 'true'})
r = s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})
print r.text
'''通过 s.headers.update 方法设置了 headers 的变量。然后我们又在请求中
设置了一个 headers，那么会出现什么结果？很简单，两个变量都传送过去了。
运行结果:'''
{
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "http://httpbin.org",
"User-Agent": "python-requests/2.9.1",
"X-Test": "true",
"X-Test2": "true"
}
}get 메소드에 의해 전달된 헤더도 x-test라면 어떻게 될까요?
r = s.get('http://httpbin.org/headers', headers={'x-test': 'true'})
#它会覆盖掉全局的配置：
{
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "http://httpbin.org",
"User-Agent": "python-requests/2.9.1",
"X-Test": "true"
}
}전역 구성에서 변수를 원하지 않으면 어떻게 되나요? 쉽습니다. None으로 설정하면 됩니다.
r = s.get('http://httpbin.org/headers', headers={'x-test': None})
{
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "http://httpbin.org",
"User-Agent": "python-requests/2.9.1"
}
}위는 세션의 기본 사용법입니다.
이제 https로 시작하는 모든 웹사이트에서 사용할 수 있는 Requests는 웹 브라우저처럼 HTTPS 요청에 대한 SSL 인증서를 확인할 수 있습니다. 특정 호스트의 SSL 인증서를 확인하려면 verify 매개변수를 사용할 수 있습니다. 12306 인증서는 얼마 전에 유효하지 않았기 때문입니다. 테스트해 보겠습니다.
import requests r = requests.get('https://kyfw.12306.cn/otn/', verify=True) print r.text #结果： requests.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)
github의
import requests r = requests.get('Build software better, together', verify=True) print r.text
를 시도해 보겠습니다. 글쎄요, 일반적인 요청이므로 내용이 너무 많기 때문에 출력을 붙여넣지 않겠습니다.
지금 12306의 인증서 확인을 건너뛰려면 verify를 False로 설정하세요.
import requests r = requests.get('https://kyfw.12306.cn/otn/', verify=False) print r.text
일단 발견되면 정상적으로 요청을 할 수 있습니다. 기본적으로 확인은 True이므로 필요한 경우 이 변수를 수동으로 설정해야 합니다.
프록시를 사용해야 하는 경우 요청 방법에 프록시 매개변수를 제공하여 개별 요청을 구성할 수 있습니다.
아아아앙위 내용은 Python에서 요청 라이브러리를 사용하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
