Python のリクエストライブラリで非同期リクエストからページコンテンツを取得する方法-Python チュートリアル-php.cn

Python のリクエストライブラリで非同期リクエストからページコンテンツを取得する方法

Patricia Arquette

リリース： 2024-12-04 14:34:10

オリジナル

741 人が閲覧しました

How to Retrieve Page Content from Asynchronous Requests in Python's Requests Library?

Python リクエストライブラリによる非同期リクエストの処理

チャレンジ:

リクエストライブラリのドキュメントには、非同期の実行例が記載されていますリクエストには、ページのコンテンツを取得するためのガイダンスがありません。次のコードはコンテンツへのアクセスに失敗します:

1 2	`out = async.map(rs)` `print` `out[0].content`

ログイン後にコピー

解決策:

async.map を使用して複数の非同期タスクを実行するには、次の手順に従います:

タスク関数の定義: 各タスクを処理する関数を作成しますまたは応答オブジェクト。
イベントフックの追加: この関数をリクエストのイベントフックとして追加して、応答の処理方法を指定します。
マップリクエスト: 実行したいすべてのリクエストまたはアクションのリストを指定して async.map を呼び出します。

例:

URL のリストと応答 URL を出力する簡単なタスクを考えてみましょう:

import async
 
urls = [
    'http://python-requests.org',
    'http://httpbin.org',
    'http://python-guide.org',
    'http://kennethreitz.com'
]
 
def do_something(response):
    print(response.url)
 
async_list = []
 
for u in urls:
    action_item = async.get(u, hooks={'response': do_something})
    async_list.append(action_item)
 
async.map(async_list)