파이썬에서 I/O 바운드 작업에 멀티 스레딩을 사용하는 방법은 무엇입니까?

I/O 집약적 인 작업의 경우 Python의 멀티 스레딩은 성능을 크게 향상시킬 수 있습니다. Concurrent.futures를 사용하여 스레드 풀을 관리하여 동시 작업을 단순화하는 권장 방법입니다. 1. ThreadPooleExecutor를 사용하여 Max_Workers의 스레드 수를 제어하십시오. 일반적으로 5-20으로 설정하십시오. 2. Executor.map ()을 사용하여 I/O 작업을 동시에 실행하고 순서대로 결과를 얻거나 Submit () 및 As_completed ()를 사용하여 결과를 처리합니다. 3.보다 자세한 제어가 필요한 경우 큐를 사용하여 지속적인 작업자 스레드를 구현할 수 있습니다. 4. 높은 동시 I/O의 경우 오버 헤드를 줄이기 위해 Asyncio 및 Aiohttp를 사용하는 것이 좋습니다. 5. 너무 많은 스레드를 피하고, 예외 처리에주의를 기울이고, 스레드 안전 로그 및 공유 데이터 메커니즘을 사용하십시오. ThreadPooleExecutor는 대부분의 시나리오에 적합하며, 기본 방법 또는 비동기 솔루션은 성능이 높거나 세분화 된 제어가 필요한 경우에만 사용됩니다.

HTTP 요청, 파일 읽기 또는 데이터베이스 쿼리와 같은 파이썬의 I/O 중 하나 작업의 경우 멀티 스레딩을 사용하면 프로그램이 한 번에 하나가 아닌 여러 I/O 운영을 동시에 기다릴 수있게함으로써 성능을 크게 향상시킬 수 있습니다.

CPYTHON의 GIL (Global Interpreter Lock)으로 인해 멀티 스레딩은 CPU가 많은 작업 속도를 높이지는 않지만 외부 리소스를 기다리는 동안 스레드가 제어 할 수 있기 때문에 I/O 바운드 작업에 매우 효과적입니다.

I/O 바운드 작업에 효과적으로 멀티 스레딩을 사용하는 방법은 다음과 같습니다.

concurrent.futures.ThreadPoolExecutor 사용하십시오. Futures.threadpoolexecutor

가장 쉽고 가장 현대적인 방법은 concurrent.futures 모듈에서 ThreadPoolExecutor 사용하는 것입니다. 스레드 풀을 관리하고 저수준 스레드 관리를 다루지 않고 작업을 제출할 수 있습니다.

 동시에 수입
가져 오기 요청

def fetch_url (URL) :
    응답 = requests.get (URL)
    반환 렌 (응답)

urls = [
    "https://httpbin.org/delay/1",
    "https://httpbin.org/delay/2",
    "https://httpbin.org/delay/1",
]]

# ThreadPooleExecutor를 사용하여 I/O 작업을 병렬로 실행하십시오
동시성.
    results = list (executor.map (fetch_url, urls))

인쇄 (결과)

• max_workers 얼마나 많은 스레드가 생성되었는지 제어합니다. 시스템 및 작업 유형에 따라 I/O 작업의 경우 일반적인 선택은 5-20입니다.
• executor.map() 각 URL에서 함수를 동시에 실행하고 결과를 순서대로 반환합니다.
• 대안 : executor.submit() as_completed() 가 끝날 때 결과를 처리하려는 경우.

더 많은 제어를 위해 대기열이있는 threading 사용하십시오

더 세밀한 제어가 필요한 경우 (예 : 장기 작업자 스레드) queue.Queue 있는 threading 모듈을 사용할 수 있습니다.

 스레딩 가져 오기
가져 오기 큐
가져 오기 요청
수입 시간

Def Worker (Q) :
    사실이지만 :
        url = q.get ()
        URL이 없으면 :
            부서지다
        노력하다:
            응답 = requests.get (URL)
            print (f "fetched {url} : {response.status_code}")
        E로 예외를 제외하고 :
            print (f "오류 페치 {url} : {e}")
        마지막으로:
            Q.task_done ()

# 큐와 스레드를 설정합니다
q = queue.queue ()
num_threads = 5

# 작업자 스레드를 시작합니다
스레드 = []
_ in range (num_threads) :
    t = Threading.thread (target = worker, args = (q,))
    t.start ()
    Threads.Append (T)

# 대기열에 URL을 추가하십시오
urls = [ "https://httpbin.org/get"] * 10
URL의 URL의 경우 :
    Q.put (URL)

# 모든 작업이 완료 될 때까지 기다립니다
Q.join ()

# 노동자 중지
_ in range (num_threads) :
    Q.put (없음)
스레드의 t의 경우 :
    t.join ()

이 패턴은 연속 I/O 작업이 있거나 지속적인 근로자를 원할 때 유용합니다.

더 나은 I/O 성능을 위해 asyncio aiohttp 고려하십시오

스레딩은 잘 작동하지만 대량의 I/O (예 : 수백 개의 HTTP 요청)의 경우 asyncio 사용하는 비동기 접근 방식이 스레드 오버 헤드를 피하기 때문에 종종 더 효율적입니다.

aiohttp 의 예 :

 Asyncio 가져 오기
AIOHTTP 가져 오기

Async def fetch (세션, URL) :
    응답으로 session.get (url)과 비동기 : 응답 :
        반환 대기 응답 .text ()

Async def main () :
    urls = [ "https://httpbin.org/get"] * 10
    세션으로 aiohttp.clientsession ()과 비동기 :
        tasks = [URL의 URL의 페치 (세션, URL)]
        응답 = Asyncio.gather (*작업)
    반환 응답

# 실행하십시오
결과 = asyncio.run (main ())

• 스레딩도없고, 길이 경쟁도 없습니다.
• 작업 당 훨씬 낮은 메모리 및 CPU 오버 헤드.
• 비동기/대기 구문으로 인한 가파른 학습 곡선.

멀티 스레딩 I/O 작업을위한 주요 팁

• 너무 많은 스레드를 사용하지 마십시오 . 10–50으로는 일반적으로 충분합니다. 오버 헤드로 인해 수천 명이 성능을 해칠 수 있습니다.
• 스레드의 예외 처리 : 스레드에서 가입하지 않은 예외는 조용히 실패 할 수 있습니다.
• 스레드 안전 로깅 사용 : 여러 스레드에서 로깅을하면 로깅을 안전하게 사용하십시오 ( logging 모듈은 기본적으로 스레드 안전입니다).
• 공유 된 Mutable 상태를 피하십시오 : 스레드가 데이터를 공유 해야하는 경우 queue.Queue 또는 locks ( threading.Lock )를 사용하십시오.
• 간단한 경우의 경우 ThreadPoolExecutor 선호합니다 . 깨끗하고 강력합니다.

기본적으로 I/O 바운드 작업의 경우 ThreadPoolExecutor 대부분의 Python 개발자에게 적합합니다. 간단하고 효과적이며 복잡성을 처리합니다. 더 미세한 제어 또는 더 높은 처리량이 필요할 때 하위 수준 만 이동하거나 asyncio 로 전환하십시오.

위 내용은 파이썬에서 I/O 바운드 작업에 멀티 스레딩을 사용하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!