PythonでI/Oバウンドタスクにマルチスレッドを使用する方法は？

I/O集約型タスクの場合、Pythonでのマルチスレッドはパフォーマンスを大幅に改善できます。 concurrent.futures.threadpoolexecutorを使用することは推奨される方法であり、スレッドプールを管理することにより、同時操作を簡素化します。 1. ThreadPoolexecutorを使用して、通常5〜20に設定されたMAX_Workersのスレッドの数を制御します。 2。executor.map（）を使用してI/Oタスクを同時に実行し、結果を順番に取得するか、submit（）およびas_completed（）を使用して結果を処理します。 3.より詳細な制御が必要な場合は、queue.queueを使用して永続的なワーカースレッドを実装できます。 4。同時のI/Oの場合、オーバーヘッドを減らすために代わりにAsyncioとAIOHTTPを使用することをお勧めします。 5.あまりにも多くのスレッドを避け、例外処理に注意し、スレッドセーフログと共有データメカニズムを使用します。 ThreadPoolexecutorはほとんどのシナリオに適しており、基礎となる方法または非同期ソリューションは、より高いパフォーマンスまたはより粒状制御が必要な場合にのみ使用されます。

PythonのI/Oバウンドタスクの場合、HTTP要求の作成、ファイルの読み取り、データベースのクエリなど、マルチスレッドを使用すると、プログラムが一度に1つではなく複数のI/O操作を同時に待つことができるようにすることで、パフォーマンスを大幅に改善できます。

Cpythonのグローバルインタープリターロック（GIL）のため、マルチスレッドはCPUが多いタスクをスピードアップしませんが、スレッドは外部リソースを待っている間に制御をもたらす可能性があるため、I/Oバウンド作業に非常に適しています。

I/Oバウンドタスクにマルチスレッドを効果的に使用する方法は次のとおりです。

concurrent.futures.ThreadPoolExecutorを使用します

最も簡単で最も近代的な方法は、 concurrent.futuresモジュールからThreadPoolExecutorを使用することです。スレッドのプールを管理し、低レベルのスレッド管理に対処せずにタスクを送信できます。

 CONCURRENT.FUTURESをインポートします
リクエストをインポートします

def fetch_url（url）：
    response = requests.get（url）
    return len（respons.content）

urls = [
    "https://httpbin.org/delay/1"、
    "https://httpbin.org/delay/2"、
    "https://httpbin.org/delay/1"、
]

＃ThreadPoolexecutorを使用して、I/Oタスクを並行して実行します
concurrent.futures.threadpoolexecutor（max_workers = 5）を執行者として：
    results = list（executor.map（fetch_url、urls））

印刷（結果）

• max_workers 、作成されるスレッドの数を制御します。一般的な選択は、システムとタスクの種類に応じて、I/Oタスクで5〜20です。
• executor.map() 、各URLで関数を同時に実行し、結果を順番に返します。
• 代替： executor.submit() as_completed()が終了時に結果を処理する場合。

キューを使用してthreading使用して、さらにコントロールしてください

より微調整されたコントロール（例えば、長期にわたるワーカースレッド）が必要な場合は、 queue.Queueを備えたthreadingモジュールを使用できます。

スレッドをインポートします
キューをインポートします
リクエストをインポートします
インポート時間

DEFワーカー（Q）：
    本当です：
        url = q.get（）
        URLがなしである場合：
            壊す
        試す：
            response = requests.get（url）
            print（f "fetched {url}：{respons.status_code}"）
        eとしての例外を除く：
            print（f "エラーFetching {url}：{e}"）
        ついに：
            q.task_done（）

＃キューとスレッドを設定します
q = queue.queue（）
num_threads = 5

＃ワーカースレッドを開始します
スレッド= []
_ in range（num_threads）：
    t = threading.thread（target = worker、args =（q、））
    t.start（）
    threads.append（t）

＃キューにURLを追加します
urls = ["https://httpbin.org/get"] * 10
URLのURLの場合：
    Q.put（url）

＃すべてのタスクが完了するのを待ちます
Q.Join（）

＃労働者を停止します
_ in range（num_threads）：
    Q.put（なし）
スレッドのtの場合：
    T.Join（）

このパターンは、I/Oタスクの連続ストリームがある場合、または持続的な労働者が必要な場合に役立ちます。

さらに優れたI/Oパフォーマンスを得るために、 asyncio aiohttpを検討してください

スレッドはうまく機能しますが、大量のI/O（たとえば、数百のHTTPリクエスト）の場合、 asyncioを使用した非同期アプローチは、スレッドオーバーヘッドを避けるため、しばしばより効率的です。

aiohttpの例：

 Asyncioをインポートします
aiohttpをインポートします

async def fetch（session、url）：
    Async with Session.get（url）として応答：
        await response.text（）を返す

async def main（）：
    urls = ["https://httpbin.org/get"] * 10
    async with aiohttp.clientsession（）as session：
        tasks = [fetch（session、url）for url in urls]
        応答= asyncio.gather（*タスク）を待っています
    応答を返します

＃実行します
結果= asyncio.run（main（））

• スレッドもギルの競合もありません。
• 操作ごとにはるかに低いメモリとCPUオーバーヘッド。
• Async/await syntaxによる急勾配の学習曲線。

マルチスレッドI/Oタスクの重要なヒント

• あまりにも多くのスレッドを使用しないでください：10〜50で十分です。数千人がオーバーヘッドのためにパフォーマンスを損なう可能性があります。
• スレッドの例外を処理する：スレッドの猛攻撃の例外は静かに失敗する可能性があります。
• スレッドセーフロギングを使用します。複数のスレッドからロギングする場合は、ロギングを安全に使用します（ loggingモジュールはデフォルトでスレッドセーフです）。
• 共有された可変状態を避けてください：スレッドがデータを共有する必要がある場合は、 queue.Queueまたはlocks（ threading.Lock ）を使用します。
• 単純なケースについては、 ThreadPoolExecutorを好みます。クリーンで堅牢です。

基本的に、I/Oバウンドタスクの場合、 ThreadPoolExecutorほとんどのPython開発者にとって頼りになります。それはシンプルで効果的で、あなたのための複雑さを処理します。より細かい制御またはより高いスループットが必要な場合にのみ、低レベルに移動するか、 asyncioに切り替えます。

以上がPythonでI/Oバウンドタスクにマルチスレッドを使用する方法は？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。