Python クローラーのプロキシ IP を設定する方法-Python チュートリアル-php.cn

Python クローラーのプロキシ IP を設定する方法

coldplay.xixi

リリース： 2020-08-22 10:51:40

オリジナル

13363 人が閲覧しました

Python クローラーがプロキシ IP を設定する方法: 最初に取得した IP アドレスをプロキシに書き込み、次に Baidu を使用して IP プロキシが成功したかどうかを検出し、Web ページによって渡されたパラメータをリクエストし、最後に get を送信します。リクエストして戻りページを取得し、ローカルに保存します。

Python クローラーのプロキシ IP を設定する方法

【関連する学習の推奨事項: Python チュートリアル ]

Python クローラーのプロキシ IP を設定する方法:

IP プロキシの設定はクローラーにとって不可欠なスキルです;

ローカル IP アドレスを表示します。Baidu を開いて「IP アドレス」と入力します。」と表示されると、このマシンの IP アドレスが表示されます;

Python クローラーのプロキシ IP を設定する方法

##この記事では goubanjia.com の無料 IP を使用します;

Python クローラーのプロキシ IP を設定する方法

使用する場合、送信プロトコルが http か https であることに注意してください。コードは次のとおりです;

# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
    &#39;https&#39;:&#39;221.178.232.130:8080&#39;
}
# 用百度检测ip代理是否成功
url = &#39;https://www.baidu.com/s?&#39;
# 请求网页传的参数
params={
    &#39;wd&#39;:&#39;ip地址&#39;
}
# 请求头
headers = {
    &#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36&#39;
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地，便于查看
with open(&#39;ip.html&#39;,&#39;w&#39;,encoding=&#39;utf-8&#39;) as f:
    f.write(response.text)

ログイン後にコピー

保存した「ip.html」を開きます」と入力し、次のように内容を表示します;

Python クローラーのプロキシ IP を設定する方法