Wie kann man große, schreibgeschützte Arrays und Python-Objekte im Multiprocessing ohne Speicheraufwand freigeben?

Shared-Memory-Objekte in Multiprocessing

Frage:

Wie können Sie in Multiprocessing ein großes, lese- Nur ein Array oder ein beliebiges Python-Objekt über mehrere Prozesse hinweg, ohne dass Speicheraufwand entsteht?

Antwort:

In Betriebssystemen, die die Copy-on-Write-Fork()-Semantik verwenden, Unveränderte Datenstrukturen stehen allen untergeordneten Prozessen ohne zusätzlichen Speicherverbrauch zur Verfügung. Stellen Sie einfach sicher, dass das gemeinsame Objekt unverändert bleibt.

Für Arrays:

Effizienter Ansatz:

1. Packen Sie die Array in eine effiziente Array-Struktur (z. B. Numpy-Array).
2. Platzieren Sie das Array im gemeinsam genutzten Speicher.
3. Umschließen Sie das gemeinsam genutzte Array mit multiprocessing.Array.
4. Übergeben Sie das gemeinsam genutzte Array zu Ihren Funktionen.

Schreibbare gemeinsame Objekte:

• Erfordert Synchronisierung oder Sperre.

• Multiprocessing bietet zwei Methoden:

  • Gemeinsamer Speicher: Geeignet für einfache Werte, Arrays oder Ctypes (schnell).
  • Manager-Proxy: Prozess hält der Speicher, und ein Manager vermittelt den Zugriff von anderen (langsamer aufgrund der Serialisierung/Deserialisierung).

Beliebige Python-Objekte:

• Verwenden Sie den Manager-Proxy-Ansatz.
• Langsamer als gemeinsamer Speicher aufgrund des Kommunikations-Overheads.

Optimierungsbedenken:

Der Overhead Der im bereitgestellten Codeausschnitt beobachtete Fehler wird nicht durch Speicherkopien verursacht. Stattdessen ist es auf die Serialisierung/Deserialisierung der Funktionsargumente (das arr-Array) zurückzuführen, die bei Verwendung des Manager-Proxys zu Leistungseinbußen führt.

Das obige ist der detaillierte Inhalt vonWie kann man große, schreibgeschützte Arrays und Python-Objekte im Multiprocessing ohne Speicheraufwand freigeben?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!