Python ネットワークプログラミングでの urllib2 モジュールの使用法の概要-Python チュートリアル-php.cn

Python ネットワークプログラミングでの urllib2 モジュールの使用法の概要

WBOY

リリース： 2016-08-04 08:55:49

オリジナル

1149 人が閲覧しました

1. 最も基本的なアプリケーション

リーリー

クライアントとサーバーは、リクエストとレスポンスを通じて通信します。クライアントは、まずサーバーにリクエストを送信し、次にサーバーから返されるレスポンスを受け取ります。

urllib2 はリクエストクラスを提供します。これにより、ユーザーはリクエストを送信する前にリクエストオブジェクトを構築し、urllib2.urlopen メソッドを通じてリクエストを送信できます

リーリー

上記の例で最初に使用されています

リーリー

リクエストオブジェクトをインスタンス化して、

を使用します

リーリー

このページを開いてみましょう。

Request オブジェクトをインスタンス化するときに URL が必要であり、いくつかのデフォルトパラメーターがあることに気付きました

2016712152259943.png (864×76)

データとヘッダーもベースでよく使用され、閲覧するためにログインが必要な一部の Web サイトでは、これら 2 つのパラメーターが必要になることがよくあります。

リーリー

この例は、Baidu にデータを送信するものですが、Baidu にアクセスする際に情報を投稿する必要はないため、エラーページが返されます。ただし、投稿するとエラーが発生します。 Baidu は、対応する Web ページが見つからない場合、エラーを報告します。

もちろんこれはPOSTデータですが、上記のコードを少し変更してGETメソッドでも使用できます

Baidu は http://www.baidu.com/s?wd=XXX を通じてクエリを実行するため、辞書を URL コード化する必要があります {'wd':'xxx'}

リーリー

以下は、Cookie の使用を詳しく説明するために、Renren へのログインをシミュレートし、ホームページのコンテンツを表示する例です。以下は、必要な機能を実現するために、この例を変更します。

リーリー

cj が表示されると、ログインページにアクセスしたことになります。正常にログインしたかどうかは、http://www.renren.com/home にアクセスすると確認できます。

上記のコードには説明するポイントが2つあり、それを理解するのに時間がかかりました

リーリー

この文、なぜ utllib2 と urlopen を使用する代わりに opener オブジェクトを使用する必要があるのでしょうか? 例ではこのように記述されているだけでなく、実際には urllib2.urlopen を使用することもできます。これは、opener が urllib2.bulid_opener Created であるためですが、urllib2 にも属性を持たせたい場合は、構築後にインストールして使用したわけではなく、その属性やメソッドも持たなかったことがわかります。オープナーのメソッドと、最初に urllib2.install_opener( opener) を使用してこのオープナーを「インストール」できます。インストール後、urllib2 を使用して操作できます。

リーリー

同様に、urllib2 にもプロキシ関連のハンドルがあります。基本的な考え方はこれと似ています。

2. 例外処理

URLError 例外は、urlopen() が応答を処理できない場合に発生します。 HTTPError 例外は URLError のサブクラスであり、HTTP タイプの URL にアクセスした場合にのみ発生します。

1. URLエラー例外

URLError の一般的な理由は、ネットワーク接続がない (ターゲットサーバーへのルートがない)、およびアクセスされたターゲットサーバーが存在しないことです。この場合、例外オブジェクトには、reason 属性 ((エラーコード、エラー理由) のタプル) が含まれます。

リーリー

2.HTTPエラー

サーバーから返されるすべての HTTP 応答にはステータスコードがあります。その中には、サーバーが対応するリクエストを完了できないことを示すステータスコードもあり、デフォルトハンドラーはそのようなステータスコードの一部を処理できます (返された応答がリダイレクトの場合、urllib2 はリダイレクトされたページから自動的に情報を取得します)。 urllib2 モジュールでは処理できないステータスコードがいくつかあるため、urlopen 関数によって HTTPError 例外が発生します (通常は 404/401)。

HTTPError 例外のインスタンスには、サーバーから返されたエラーステータスコードを表す整数型の code 属性があります。 urllib2 モジュールのデフォルトハンドラーはリダイレクトを処理でき (ステータスコードは 300 の範囲)、100 ～ 299 の範囲のステータスコードは成功を示します。したがって、HTTPError 例外を引き起こす可能性のあるステータスコードの範囲は 400 ～ 599 です。

エラーが発生すると、サーバーは HTTP エラーコードとエラーページを返します。 HTTPError インスタンスをリターンページとして使用できます。つまり、HTTPError インスタンスには code 属性だけでなく、read、geturl、info などのメソッドもあります。
リーリー

3. 概要

URLError と HTTPError をコードで処理したい場合は 2 つの方法があり、コードは次のとおりです:

リーリー

比較すると、2 番目の例外処理方法の方が優れています。