Welche Pool-Methode sollte ich beim Python-Multiprocessing verwenden?

Multiprocessing.Pool: Welche Methode sollte ich verwenden?

Multiprocessing ermöglicht es Python, Funktionen gleichzeitig über mehrere Prozesse hinweg auszuführen. Die Auswahl der geeigneten Methode kann jedoch verwirrend sein, insbesondere wenn man Pool.apply, Pool.apply_async und Pool.map berücksichtigt. Lassen Sie uns ihre Unterschiede und Anwendungsfälle klären:

Pool.apply vs. Pool.apply_async vs. Pool.map

1. Pool.apply:

• Ruft eine Funktion in einem separaten Prozess auf und blockiert den aktuellen Prozess, bis die Funktion zurückkehrt.
• Verwenden Sie diese Funktion, wenn Sie einen einzelnen Funktionsaufruf ausführen müssen und Warte sofort auf das Ergebnis.

2. Pool.apply_async:

• Ähnlich wie Pool.apply, ruft eine Funktion in einem separaten Prozess auf, kehrt aber sofort zurück.
• Gibt ein AsyncResult-Objekt zurück, mit dem Sie das abrufen können Ergebnis später.
• Unterstützt Rückruffunktionen, die aufgerufen werden, wenn das Ergebnis verfügbar ist.
• Nützlich für die asynchrone Verarbeitung mehrerer Funktionsaufrufe.

3. Pool.map:

• Ruft dieselbe Funktion für eine Folge von Argumenten parallel auf.
• Blockiert, bis alle Ergebnisse vorliegen.
• Behält die Reihenfolge bei der Argumente und Ergebnisse.
• Ideal, um dieselbe Funktion auf mehrere Datenpunkte anzuwenden und eine Liste von Ergebnissen in derselben Reihenfolge zu erhalten.

Die richtige Methode auswählen

Verwenden Sie Pool.apply, wenn:

• Sie müssen blockieren, bis eine einzelne Funktion zurückkehrt.
• Das möchten Sie nicht um mit der asynchronen Verarbeitung umzugehen.

Verwenden Sie Pool.apply_async, wenn:

• Sie möchten mehrere Funktionen asynchron aufrufen und ihre Ergebnisse später abrufen.
• Sie möchten Rückrufe verwenden, um Ergebnisse zu verarbeiten.

Verwenden Sie Pool.map, wenn:

• Sie müssen dasselbe anwenden Funktion auf mehrere Argumente gleichzeitig anwenden.
• Sie möchten die Argument-Ergebnis-Reihenfolge beibehalten.

Beispiel: Asynchroner Rückruf in Pool.apply_async

<code class="python">import multiprocessing as mp
import time

def foo_pool(x):
    time.sleep(2)
    return x*x

result_list = []
def log_result(result):
    result_list.append(result)

def apply_async_with_callback():
    pool = mp.Pool()
    for i in range(10):
        pool.apply_async(foo_pool, args = (i, ), callback = log_result)
    pool.close()
    pool.join()
    print(result_list)

if __name__ == '__main__':
    apply_async_with_callback()</code>

Ausgabe:

[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]

Beachten Sie, dass die Reihenfolge der Ergebnisse im Gegensatz zu Pool.map möglicherweise nicht mit der Reihenfolge der Funktionsaufrufe übereinstimmt.

Das obige ist der detaillierte Inhalt vonWelche Pool-Methode sollte ich beim Python-Multiprocessing verwenden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!