Python 스레드 풀과 그 원리 및 용도

새 스레드를 시작하는 시스템 비용은 운영 체제와의 상호 작용을 포함하기 때문에 상대적으로 높습니다. 이 경우 스레드 풀을 사용하면 성능이 크게 향상될 수 있으며, 특히 프로그램이 짧은 수명을 가진 많은 수의 스레드를 생성해야 하는 경우 스레드 풀 사용을 고려해야 합니다. 스레드 풀은 시스템이 시작될 때 많은 수의 유휴 스레드를 생성합니다. 프로그램이 스레드 풀에 함수를 제출하는 한 스레드 풀은 이를 실행하기 위해 유휴 스레드를 시작합니다. 함수가 실행되면 스레드는 죽지 않고 다시 스레드 풀로 돌아가서 다음 함수 실행을 기다리며 유휴 상태가 됩니다.

새 스레드를 시작하는 시스템 비용은 운영 체제와의 상호 작용을 포함하기 때문에 상대적으로 높습니다. 이 경우 스레드 풀을 사용하면 성능이 크게 향상될 수 있으며, 특히 프로그램이 짧은 수명을 가진 많은 수의 스레드를 생성해야 하는 경우 스레드 풀 사용을 고려해야 합니다.

스레드 풀은 시스템이 시작될 때 많은 수의 유휴 스레드를 생성합니다. 프로그램이 스레드 풀에 함수를 제출하는 한 스레드 풀은 이를 실행하기 위해 유휴 스레드를 시작합니다. 함수 실행이 끝나면 스레드는 죽지 않고 다시 스레드 풀로 돌아가 유휴 상태가 되어 다음 함수 실행을 기다립니다.

또한 스레드 풀을 사용하면 시스템의 동시 스레드 수를 효과적으로 제어할 수 있습니다. 시스템에 많은 수의 동시 스레드가 포함되어 있으면 시스템 성능이 급격히 저하되고 Python이 실패할 수도 있습니다. 인터프리터가 충돌하고 스레드 풀의 최대 스레드 매개변수 수는 시스템의 동시 스레드 수가 이 수를 초과하지 않도록 제어할 수 있습니다.

스레드 풀 사용

스레드 풀의 기본 클래스는 Concurrent.futures 모듈의 Executor입니다. 즉, Executor는 두 가지 하위 클래스를 제공합니다. ThreadPoolExecutor 및 ProcessPoolExecutor(여기서 ThreadPoolExecutor는 스레드 풀을 생성하는 데 사용됨) ProcessPoolExecutor는 프로세스 풀을 생성하는 데 사용됩니다.

스레드 풀/프로세스 풀을 사용하여 동시 프로그래밍을 관리하는 경우 해당 작업 기능을 스레드 풀/프로세스 풀에 제출하기만 하면 스레드 풀/프로세스 풀이 나머지를 처리합니다.

Exectuor는 다음과 같은 일반적인 방법을 제공합니다.

submit(fn, *args, **kwargs): fn 함수를 스레드 풀에 제출합니다. *args는 fn 함수 *kwargs에 전달된 매개변수를 나타냅니다. 매개변수가 키워드 인수 형식으로 fn 함수에 전달됨을 나타냅니다.

map(func, *iterables, timeout=None, Chunksize=1): 이 함수는 전역 함수 map(func, *iterables), 그러나 이 함수는 여러 스레드를 시작하여 비동기 방식으로 iterable에 대한 맵 처리를 즉시 수행합니다.

shutdown(wait=True): 스레드 풀을 닫습니다.

프로그램이 스레드 풀에 작업 함수를 제출한 후 제출 메서드는 Future 개체를 반환합니다. 클래스는 주로 스레드 작업 함수의 반환 값을 얻는 데 사용됩니다. 스레드 작업은 새 스레드에서 비동기적으로 실행되므로 스레드에 의해 실행되는 함수는 "향후 완료" 작업과 동일하므로 Python에서는 대표할 미래.

사실 Java의 멀티스레드 프로그래밍에도 Future가 있습니다. 여기서 Future는 Java의 Future와 유사합니다.

Future는 다음 메소드를 제공합니다.

cancel(): 이 Future가 나타내는 스레드 작업을 취소합니다. 작업이 실행 중이고 취소할 수 없으면 메서드는 False를 반환하고, 그렇지 않으면 프로그램은 작업을 취소하고 반환합니다. 진실.

cancelled(): Future가 나타내는 스레드 작업이 성공적으로 취소되었는지 여부를 반환합니다.

running(): Future가 나타내는 스레드 작업이 실행 중이고 취소할 수 없는 경우 이 메서드는 True를 반환합니다.

done(): Funture가 나타내는 스레드 작업이 성공적으로 취소되거나 완료되면 이 메서드는 True를 반환합니다.

result(timeout=None): 이 Future가 나타내는 스레드 작업이 반환한 최종 결과를 가져옵니다. 미래라면 표시된 스레드 작업이 완료되지 않은 경우 이 메서드는 현재 스레드를 차단합니다. 여기서 timeout 매개 변수는 차단할 최대 시간(초)을 지정합니다.

Exception(timeout=None): 이 Future가 나타내는 스레드 작업으로 인해 발생한 예외를 가져옵니다. 작업이 예외 없이 성공적으로 완료되면 메서드는 다음을 반환합니다. 없음.

add_done_callback(fn): 이 Future가 나타내는 스레드 작업에 대한 "콜백 함수"를 등록합니다. 작업이 성공적으로 완료되면 프로그램이 자동으로 fn을 트리거합니다. 기능.

스레드 풀을 모두 사용한 후에는 스레드 풀의 shutdown() 메서드를 호출해야 하며, 이 메서드는 스레드 풀의 종료 시퀀스를 시작합니다. 종료() 호출 메소드 이후의 스레드 풀은 더 이상 새 작업을 수신하지 않지만 이전에 제출된 모든 작업을 완료합니다. 스레드 풀의 모든 작업이 실행되면 스레드 풀의 모든 스레드가 종료됩니다.

스레드 풀을 사용하여 스레드 작업을 수행하는 단계는 다음과 같습니다.

ThreadPoolExecutor 클래스의 생성자를 호출하여 스레드 풀을 만듭니다.

일반 함수를 스레드 작업으로 정의하세요.

ThreadPoolExecutor 개체의 submit() 메서드를 호출하여 스레드 작업을 제출합니다.

작업을 제출하지 않으려면 ThreadPoolExecutor 객체의 shutdown() 메서드를 호출하여 스레드 풀을 종료하세요.

다음 프로그램은 스레드 풀을 사용하여 스레드 작업을 수행하는 방법을 보여줍니다.

from concurrent.futures import ThreadPoolExecutor
import threading
import time
# 定义一个准备作为线程任务的函数
def action(max):
my_sum = 0
for i in range(max):
print(threading.current_thread().name + ' ' + str(i))
my_sum += i
return my_sum
# 创建一个包含2条线程的线程池
pool = ThreadPoolExecutor(max_workers=2)
# 向线程池提交一个task, 50会作为action()函数的参数
future1 = pool.submit(action, 50)
# 向线程池再提交一个task, 100会作为action()函数的参数
future2 = pool.submit(action, 100)
# 判断future1代表的任务是否结束
print(future1.done())
time.sleep(3)
# 判断future2代表的任务是否结束
print(future2.done())
# 查看future1代表的任务返回的结果
print(future1.result())
# 查看future2代表的任务返回的结果
print(future2.result())
# 关闭线程池
pool.shutdown()

위 프로그램에서 13번째 코드 줄은 두 개의 스레드를 포함하는 스레드 풀을 생성합니다. 다음 두 줄의 코드에서는 action()만 변경하면 됩니다. 함수는 스레드 풀에 제출되며 스레드 풀은 action() 함수를 실행하기 위해 스레드를 시작하는 역할을 담당합니다. 스레드를 시작하는 이 방법은 우아하고 더 효율적입니다.

프로그램이 스레드 풀에 action() 함수를 제출하면 submit() 메서드는 작업에 해당하는 Future 객체를 반환하고 프로그램은 즉시 future를 결정합니다. done() 메서드는 False(작업이 현재 완료되지 않았음을 나타냄)를 반환합니다. 다음으로, 메인 프로그램은 3초 동안 멈춘 후 future2의 done()을 결정합니다. 메서드에서 작업이 완료되면 메서드는 True를 반환합니다.

프로그램은 마침내 Future의 result() 메서드를 사용하여 두 개의 비동기 작업에서 반환된 결과를 얻습니다.

독자는 이 코드를 직접 실행하여 결과를 확인할 수 있지만 여기서는 설명하지 않습니다.

프로그램이 Future의 result() 메서드를 사용하여 결과를 얻을 때 시간 초과가 지정되지 않으면 이 메서드는 현재 스레드를 차단합니다. 매개 변수를 사용하면 현재 스레드는 Future가 반환하는 작업이 반환될 때까지 차단된 상태로 유지됩니다.

실행 결과 가져오기

이전 프로그램에서는 스레드 작업의 반환 값을 가져오기 위해 Future의 result() 메서드를 호출했지만 이 메서드는 자금 프로세스 작업이 완료된 후에만 현재 메인 스레드를 차단합니다. 메소드의 차단이 해제됩니다.

프로그램이 스레드를 차단하기 위해 result() 메서드를 직접 호출하고 싶지 않은 경우 Future의 add_done_callback()을 사용할 수 있습니다. 콜백 함수를 추가하는 방법으로, 콜백 함수는 fn(future)과 같습니다. 스레드 작업이 완료되면 프로그램은 자동으로 콜백 함수를 트리거하고 해당 Future를 전송합니다. 객체는 콜백 함수에 매개변수로 전달됩니다.

다음 프로그램은 add_done_callback() 메서드를 사용하여 스레드 작업의 반환 값을 얻습니다.

from concurrent.futures import ThreadPoolExecutor
import threading
import time
# 定义一个准备作为线程任务的函数
def action(max):
my_sum = 0
for i in range(max):
print(threading.current_thread().name + ' ' + str(i))
my_sum += i
return my_sum
# 创建一个包含2条线程的线程池
with ThreadPoolExecutor(max_workers=2) as pool:
# 向线程池提交一个task, 50会作为action()函数的参数
future1 = pool.submit(action, 50)
# 向线程池再提交一个task, 100会作为action()函数的参数
future2 = pool.submit(action, 100)
def get_result(future):
print(future.result())
# 为future1添加线程完成的回调函数
future1.add_done_callback(get_result)
# 为future2添加线程完成的回调函数
future2.add_done_callback(get_result)
print('--------------')

위의 기본 프로그램은 future1과 future2에 각각 동일한 콜백 함수를 추가합니다. 이 콜백 함수는 스레드가 반환될 때 반환 값을 얻습니다. 임무가 종료됩니다.

메인 프로그램의 마지막 코드 줄은 수평선을 인쇄합니다. 프로그램은 future1과 future2의 result()를 직접 호출하지 않기 때문입니다. 메소드를 사용하면 메인 스레드가 차단되지 않고 출력 메인 스레드에서 인쇄된 수평선을 즉시 볼 수 있습니다. 다음으로, 스레드 작업이 완료되면 get_result()가 동시에 실행되는 두 개의 새로운 스레드를 볼 수 있습니다. 함수가 트리거되고 스레드 작업의 반환 값을 출력합니다.

또한 스레드 풀은 컨텍스트 관리 프로토콜을 구현하므로 프로그램은 다음과 함께 사용할 수 있습니다. 명령문을 사용하여 스레드 풀을 관리하므로 위 프로그램에 표시된 것처럼 스레드 풀을 수동으로 닫을 필요가 없습니다.

또한 Exectuor는 맵(func, *iterables, timeout=None, Chunksize=1)도 제공합니다. 이 메소드의 기능은 전역 함수 map()과 유사합니다. 차이점은 스레드 풀의 map() 메소드가 func를 동시에 실행하기 위해 iterable의 각 요소에 대해 스레드를 시작한다는 것입니다. 기능. 이 방법은 len(iterables) 스레드를 시작하고 각 스레드의 실행 결과를 수집하는 것과 같습니다.

예를 들어, 다음 프로그램은 Executor의 map() 메서드를 사용하여 스레드를 시작하고 스레드 작업의 반환 값을 수집합니다.

from concurrent.futures import ThreadPoolExecutor
import threading
import time
# 定义一个准备作为线程任务的函数
def action(max):
my_sum = 0
for i in range(max):
print(threading.current_thread().name + ' ' + str(i))
my_sum += i
return my_sum
# 创建一个包含4条线程的线程池
with ThreadPoolExecutor(max_workers=4) as pool:
# 使用线程执行map计算
# 后面元组有3个元素，因此程序启动3条线程来执行action函数
results = pool.map(action, (50, 100, 150))
print('--------------')
for r in results:
print(r)

위 프로그램은 map() 메서드를 사용하여 3개의 스레드( 이 프로그램의 스레드 풀에는 4개가 포함되어 있습니다. 스레드가 2개만 포함된 스레드 풀을 계속 사용하는 경우 스레드가 실행될 수 있기 전에 작업 중 하나가 완료될 때까지 기다려야 합니다. , 지도() 메서드의 반환 값은 각 스레드 작업의 반환 결과를 수집합니다.

위 프로그램을 실행하면 3개 스레드의 동시 실행 결과도 확인할 수 있습니다. 마지막으로 결과를 통해 3개 스레드 작업의 반환 결과도 확인할 수 있습니다.

위 프로그램에서 볼 수 있듯이 map() 메소드를 사용하여 스레드를 시작하고 스레드의 실행 결과를 수집하는 것은 간단한 코드의 장점일 뿐만 아니라 프로그램이 action()을 동시에 실행한다는 장점도 있습니다. 함수이지만 마지막에 수집된 action() 함수의 실행 결과는 전달된 매개변수의 결과와 여전히 일치합니다. 즉, 위 결과의 첫 번째 요소는 action(50) 입니다. 두 번째 요소는 action(100)의 결과이고, 세 번째 요소는 action(150)의 결과입니다.

위 내용은 Python 스레드 풀과 그 원리 및 용도의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!