Wann sollte ich Pythons undokumentierten „ThreadPool' für die Parallelverarbeitung verwenden?

Thread-basiertes Pooling im Multiprocessing

Das Multiprocessing-Modul bietet eine leistungsstarke „Pool“-Klasse zum Parallelisieren von Aufgaben mithilfe separater Prozesse. Allerdings verursacht dieser Ansatz aufgrund der Prozesserstellung einen Mehraufwand. Bei IO-gebundenen Vorgängen, bei denen die GIL während des eigentlichen Funktionsaufrufs freigegeben wird, kann die Verwendung von Threads zu einer besseren Leistung führen.

Einführung der ThreadPool-Klasse

Entgegen der landläufigen Meinung ist die Das Multiprocessing-Modul stellt tatsächlich eine Thread-basierte Poolschnittstelle bereit. Dieses versteckte Juwel, auf das über den multiprocessing.pool-Import ThreadPool zugegriffen werden kann, bietet eine bequeme Möglichkeit, Aufgaben mithilfe von Threads zu parallelisieren.

Trotz ihres undokumentierten Status implementiert die ThreadPool-Klasse die Multiprocessing-Pool-Schnittstelle mithilfe einer Dummy-Process-Klasse, die Python umschließt Threads. Diese Dummy-Prozessklasse befindet sich im Modul multiprocessing.dummy, das die gesamte Multiprocessing-Schnittstelle basierend auf Threads bietet.

Beispielverwendung

Ähnlich wie der ProcessPool kann der ThreadPool zur Parallelisierung von Kartenfunktionen verwendet werden:

import multiprocessing.pool

def long_running_func(p):
    c_func_no_gil(p)

p = multiprocessing.pool.ThreadPool(4)
xs = p.map(long_running_func, range(100))

Hinweis: Die Die ThreadPool-Klasse ist nicht in allen Fällen so effizient wie ProcessPool, insbesondere wenn Aufgaben viel CPU-Zeit erfordern.

Das obige ist der detaillierte Inhalt vonWann sollte ich Pythons undokumentierten „ThreadPool' für die Parallelverarbeitung verwenden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!