Python Web サイトのアクセス速度を最適化し、非同期フレームワーク、非同期 IO、その他のテクノロジーを使用して高い同時実行性を実現します。-Python チュートリアル-php.cn

Python Web サイトのアクセス速度を最適化し、非同期フレームワーク、非同期 IO、その他のテクノロジーを使用して高い同時実行性を実現します。

WBOY

リリース： 2023-08-04 17:33:14

オリジナル

1167 人が閲覧しました

Python Web サイトのアクセス速度を最適化し、非同期フレームワーク、非同期 IO およびその他のテクノロジを使用して高い同時実行性を実現します

概要
今日のインターネット時代では、Web サイトのアクセス速度はユーザーエクスペリエンスの鍵の 1 つです。 Web サイトのパフォーマンスとユーザー満足度を向上させるには、Web サイトのアクセス速度を最適化することが重要です。この記事では、Python の非同期フレームワークと非同期 IO テクノロジを使用して高い同時実行性を実現し、Web サイトのアクセス速度を向上させる方法を紹介します。具体的には、データスクレイピングと HTTP リクエストの非同期処理が含まれます。

非同期フレームワークの概要
Python にはさまざまな非同期フレームワークから選択できます。この記事では、例として AsynchronousIO (非同期 IO) パッケージと aiohttp (非同期 IO ベースの HTTP フレームワーク) を使用します。。

非同期 IO は、IO 操作が完了するまで待機している間も他のタスクの実行を継続できるノンブロッキング IO モードであり、それによってプログラムの効率が向上します。 aiohttp は、非同期 IO に基づく HTTP フレームワークであり、高性能でスケーラブルな非同期処理機能を提供します。

非同期フレームワークとライブラリをインストールする
まず、非同期フレームワークとライブラリをインストールする必要があります。 aiohttp と aiohttp の依存モジュールを pip 経由でインストールし、次のコマンドを実行するだけです。
pip install aiohttp
非同期クローラーを構築する
以下では、aiohttp を使用して簡単な非同期クローラーを作成してデモンストレーションします。非同期フレームワークを使用して高い同時実行性を実現する方法。次のコードは、単純な非同期クローラーの例です。

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
        'https://www.example.com/page1',
        'https://www.example.com/page2',
        'https://www.example.com/page3'
    ]
    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in urls:
            tasks.append(fetch(session, url))

        results = await asyncio.gather(*tasks)
        for result in results:
            print(result)

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

ログイン後にコピー

上記のコードでは、セッションとして aiohttp.ClientSession() を指定した async を使用して、## を介して非同期 HTTP セッションを作成します。 # fetch メソッドは非同期 HTTP リクエストを開始します。 main メソッドでは、asyncio.gather を通じて複数の非同期タスクが同時に実行され、高い同時実行性のデータキャプチャが実現されます。

接続プールの設定やタイムアウトの設定などにより、HTTP リクエストの効率をさらに向上させることもできます。次のコード例は、接続プールとタイムアウトを設定する方法を示しています。

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url, timeout=10) as response:
        return await response.text()

async def main():
    urls = [
        'https://www.example.com/page1',
        'https://www.example.com/page2',
        'https://www.example.com/page3'
    ]
    connector = aiohttp.TCPConnector(limit=30) # 设置连接池大小为30
    async with aiohttp.ClientSession(connector=connector) as session:
        tasks = []
        for url in urls:
            tasks.append(fetch(session, url))

        results = await asyncio.gather(*tasks)
        for result in results:
            print(result)

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

ログイン後にコピー

aiohttp.TCPConnector(limit=30)# を通じて接続プールのサイズを設定します。 ## は 30 で、timeout パラメータによって 10 秒のタイムアウトが設定されます。これにより、HTTP リクエストの同時実行性と応答時間を効果的に制御し、全体的なパフォーマンスを向上させることができます。