Der richtige Weg, gemeinsam genutzte Multiprozessvariablen basierend auf Python zu öffnen

Der folgende Artikel zeigt Ihnen, wie Sie gemeinsam genutzte Multiprozessvariablen auf Python-Basis richtig öffnen können. Er hat einen guten Referenzwert und ich hoffe, dass er für alle hilfreich ist. Werfen wir gemeinsam einen Blick darauf

Mehrere Prozesse teilen Variablen und erhalten Ergebnisse

Aufgrund technischer Anforderungen müssen mehrere Threads verwendet werden, um ein Programm auszuführen . Aber weil ich gehört habe, dass das Multithreading von Python gefälscht ist, habe ich Multiprozess verwendet. Wie auch immer, die Aufgaben müssen weniger Parameter gemeinsam nutzen.

Nachdem ich die Informationen konsultiert habe, habe ich festgestellt, dass Multiprocessing hauptsächlich zur Implementierung von Multiprozessen verwendet wird. Es gibt zwei Möglichkeiten, eine ist Process und die andere ist Pool.

p = Process(target=fun,args=(args))

Verwenden Sie dann p.start(), um einen untergeordneten Prozess zu starten, und verwenden Sie die Methode p.join(), um den zu erstellen Ausführung des untergeordneten Prozesses Führen Sie den übergeordneten Prozess nach Abschluss aus.

Aber das ist sehr ärgerlich und ich muss eine for-Schleife schreiben, um n Threads zu öffnen und beizutreten.

Es wird daher empfohlen, Pool zu verwenden. Es kann einen Prozesspool mit fester Größe öffnen, und dann führt jeder Thread die Funktion apply_async () aus, um die auszuführende Funktion aufzurufen, und schließt schließlich und verbindet sich.

Der Code lautet wie folgt:

pathm=Manager().Queue(len(pathlist))
for d in pathlist:
 pathm.put(d)
p=Pool(cp.threads)
results=[]
for i in range(cp.threads):
 temp=p.apply_async(ProcessWorker,args=(i,pathm,cp))
 results.append(temp)
print 'Waiting for all subprocesses done...'
p.close()
p.join()
print 'All subprocesses finish Processing.'
results=[r.get() for r in results]

Der Die obige Codedemonstration zeigt, wie Sie Pool-Multiprozesse verwenden, wie Sie den Variablenpfad zwischen Prozessen im Pool teilen und wie Sie die Ergebnisse der Prozessfunktionsausführung erhalten. Es ist zu beachten, dass ProcessWorker eine unbegrenzte Funktion sein muss, andernfalls wird ein Fehler gemeldet, dass die Funktion nicht ausgewählt und nicht jedem Prozess zugewiesen werden kann.

cPickle.PicklingError: Can&#39;t pickle <type &#39;instancemethod&#39;>: attribute lookup __builtin__.instancemethod failed

Begrenzte Funktionen und Pythons Multiprozessmechanismus

Ein daraus abgeleitetes Konzept ist das Konzept der begrenzten Funktionen und der unbeschränkten Funktionen.

Nach Durchsicht der Informationen kam ich zu folgendem Schluss:

Begrenzte Funktionen sind in einer Klasse verpackt und können nur verwendet werden, wenn die Klasse vorhanden ist wird instanziiert. Die verwendete Funktion ist durch diese Instanz begrenzt. Wir nennen diese Funktionen oft Klassenmethoden. Zum Beispiel eine Klassenmethode, die self als Parameter akzeptiert.

Unbegrenzte Funktionen können Funktionen sein, die nicht in eine Klasse eingeschlossen sind, oder sie können statische Methoden in einer Klasse sein. Sie sind unabhängig von der Klasse. Beispielsweise kann eine statische Methode in einer Klasse nicht auf Parameter und andere Methoden in der Klasse zugreifen, selbst wenn sie in einer Klasse definiert ist.

Der Multiprozessmechanismus von Python sollte die von jedem Prozess aufzurufenden Methoden und die übergebenen Parameter (z. B. ProcessWorker im obigen Beispiel) kompilieren und verpacken und sie dann zur Ausführung in jeden Prozess kopieren. Wenn es sich bei der Eingabe um eine begrenzte Funktion handelt, sollten ihre Parameter die Klasse sein, zu der sie gehört (einschließlich Parameter und Methoden). Dies kann jedoch nicht abgerufen werden, und Klassenattribute und -methoden können Fallstricke aufweisen, was das Packen erschwert. Daher beschränkt Python, dass die von mehreren Prozessen aufzurufenden Funktionen keine Klassenmethoden sein dürfen.

Wir müssen die von mehreren Prozessen aufgerufenen Funktionen außerhalb der Klasse platzieren oder sie in statische Funktionen umwandeln. Statische Funktionen können jedoch nicht von Methoden der Klasse aufgerufen werden, zu der sie gehören (in der Form self.ProcessWorker). Sie müssen extern aufgerufen werden, z. B. mc=MyClass(), mc.ProcessWorker oder MyClass(). ProcessWorker.

Verwandte Empfehlungen:

Methoden in dekorierten Klassen basierend auf Python-Dekoratoren

Arrays und Matrizen basierend auf Python Numpy Detaillierte Erklärung von matrix_python

Das obige ist der detaillierte Inhalt vonDer richtige Weg, gemeinsam genutzte Multiprozessvariablen basierend auf Python zu öffnen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!