Wie kann ich eine nicht blockierende zeilenweise Ausgabefilterung von Unterprozessen in Python erreichen?

Nicht blockierende Ausgabefilterung von Unterprozessen: Ein zeilenweiser Ansatz

Bei der Python-Programmierung ist die Fähigkeit, Ausgaben von externen Befehlen zu erfassen und zu verarbeiten, von entscheidender Bedeutung. Ein häufiges Szenario besteht darin, das Unterprozessmodul zum Ausführen eines Befehls und zum Abrufen seiner Ausgabe zu verwenden. Allerdings entstehen Herausforderungen, wenn die Ausgabe umfangreich ist und wir sie inkrementell filtern und anzeigen müssen.

Das Problem der verzögerten Ausgabe

Betrachten Sie das folgende Python-Skript, das ein Dienstprogramm aufruft, das Ergebnisse generiert ：

import time
i = 0
while True:
    print(hex(i)*512)
    i += 1
    time.sleep(0.5)

In unserem übergeordneten Prozess versuchen wir, die zu lesen und zu filtern Ausgabe:

import subprocess
proc = subprocess.Popen(['python', 'fake_utility.py'], stdout=subprocess.PIPE)
for line in proc.stdout:
    # perform filtering logic
    print("test:", line.rstrip())

Anfangs wurde erwartet, dass die Ausgabe des Dienstprogramms Zeile für Zeile angezeigt wird, sobald sie verfügbar ist. Dies geschah jedoch nicht; stattdessen wurde die Ausgabe erst angezeigt, nachdem eine signifikante Menge produziert wurde.

Ineffizienz von Iteratoren

Der Grund für diese Verzögerung liegt in der Verwendung der for-Schleife über proc.stdout. Dadurch wird implizit die gesamte Ausgabe in den Speicher eingelesen, bevor sie iterativ verarbeitet wird. Um dieses Problem zu lösen, können wir eine effizientere Methode anwenden: die Verwendung von readline().

import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
while True:
  line = proc.stdout.readline()
  if not line:
    break
  # perform filtering logic
  print "test:", line.rstrip()

Dieser Ansatz ermöglicht es uns, die Ausgabe Zeile für Zeile zu lesen, sobald sie verfügbar ist, wodurch die Verzögerung eliminiert und mehr bereitgestellt wird reaktionsfähiger Filterprozess.

Fazit

Das Filtern der Ausgabe von Unterprozessen kann eine häufige Aufgabe in Python sein. Durch das Verständnis der Nuancen der E/A-Pufferung und den Einsatz effizienter Techniken wie readline() können Entwickler nicht blockierende Filter implementieren, die Daten inkrementell verarbeiten und anzeigen und so die Reaktionsfähigkeit ihrer Anwendungen verbessern.

Das obige ist der detaillierte Inhalt vonWie kann ich eine nicht blockierende zeilenweise Ausgabefilterung von Unterprozessen in Python erreichen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!