Python List Verständnis und Iterator-Speicherverhalten eingehender Analyse

In diesem Artikel wird das Verhalten von Listenliteralen, Listenfindungen und Iteratoren in Python im Speichermanagement tief untersucht. Der Kernpunkt ist, dass Pythons nicht-faule Bewertungsmerkmale zu einem Listenverständnis führen, das zuerst erstellt und auf Speicher verzehrt wird, unabhängig davon, ob es einer Variablen zugeordnet ist oder nicht. Der Hauptunterschied besteht darin, dass Literale ungebundener Variablen nach dem Erstellen des Iterators schneller ein Müll erfasst werden, während die an Variablen gebundenen Listen während des gesamten Lebenszyklus in variablen Lebensdaten belegt bleiben.

Pythons nicht-fauler Bewertungsmechanismus

In Python ist die Bewertung eines Ausdrucks normalerweise "nicht faul", was bedeutet, dass bei Ausführung eines Ausdrucks sein Wert sofort berechnet wird, anstatt zu warten, bis er benötigt wird. Für das Listenverständnis [Ausdruck für Element in iterable] bedeutet dies, dass unabhängig davon, ob das Ergebnis dieses Listenverständnisses einer Variablen zugeordnet ist, zuerst ein vollständiges Listenobjekt und alle seine Elemente im Speicher erstellt.

Betrachten Sie zwei Szenarien, die einen hohen Grad an Ähnlichkeit in der anfänglichen Speicherausdruck aufweisen:

Szenario 1: Listen Sie explizit an Variablen auf

Wenn wir dem Ergebnis eines Listenverständnisses einer Variablen zuweisen, bleiben das Listenobjekt und alle Elemente, die es enthält, im Speicher, bis die Variable neu zugewiesen, gelöscht oder überschritten wird.

 # Code 1: Listen Sie explizit an variable Importsystemen auf

# Diese Codezeile erstellt sofort eine vollständige Liste von 5000 Ganzzahlen und binde sie an my_list
my_list = [l für l in Bereich (5000)]
print (f "liste 'my_list' Object 'Memory Footprint (ohne das Element selbst): {sys.getSizeof (my_list)} bytes"))
# Hinweis:
# Schließt die Gesamtspeicherverwendung von 5000 Ganzzahlobjekten darin aus. Wichtig ist jedoch, dass diese 5000 ganzzahligen Objekte tatsächlich erstellt wurden.

# Erstellen Sie einen Iterator aus einer vorhandenen Liste my_iter1 = iter (my_list)
print (f "iterator 'my_iter1' Objekt 'Objekt' Speicher Fußabdruck: {sys.getSizeof (my_iter1)} Bytes (normalerweise kleiner)"))

# In diesem Szenario belegen My_List und alle integer -Objekte, auf die verwiesen wird, weiterhin Speicher.
# Bis My_List Müll erhoben oder das Programm endet.

In diesem Beispiel schafft [L für L in Bereich (5000)] eine Liste von 5000 Ganzzahlen. Selbst wenn wir dann einen Iterator daraus erstellen, existieren die ursprüngliche My_List und alle ihre Elemente immer noch im Speicher und sind über die My_List -Variable zugänglich.

Szenario 2: Listliterale werden direkt für die Iterator -Erstellung verwendet

Wenn das Ergebnis des Listenverständnisses keiner Variablen ausdrücklich zugewiesen wird, sondern direkt an eine Funktion (wie Iter ()) übergeben wird, erstellt Python diese Liste auch vollständig.

 # Code 2: Listliterale werden direkt zum Erstellen von Importsystemen durch Iterator verwendet

# Obwohl es keinen expliziten variablen Empfang gibt, erstellt [i für i in Reichweite (5000)] sofort eine vollständige Liste von # mit 5000 Ganzzahlen.
# Anschließend empfängt die Funktion iter () diese vorübergehend erstellte Liste als Parameter.
my_iter2 = iter ([i für i in Bereich (5000)])
print (f "iterator 'my_iter2' Objekt des Objekts?

# Schlüsselpunkt: Anonymous List -Objekt zum Erstellen eines Iterators, nachdem die Funktion iter () zurückgegeben wird,
# Wenn es keine anderen Referenzen gibt, wird es sofort ein Kandidat für die Müllsammlung.

In diesem Szenario erstellt [ich für I in Range (5000)] auch eine Liste von 5000 Ganzzahlen. Die Funktion iter () empfängt diese temporäre Liste und gibt einen Iterator dafür zurück. Sobald die iter () -Funktion ausgeführt wird und nirgendwo anders als dieses vorübergehend erstellte Listenobjekt verweist, kann der Mechanismus von Python Müllsammlung den Speicher der Liste und ihrer Elemente recyceln.

Der Kernunterschied zwischen Gedächtnisnutzung und Lebenszyklus

Durch die obige Analyse können wir folgende Schlussfolgerungen ziehen:

1. Erstspeicherer Fußabdruck: In beiden Szenarien werden die Ausdrücke [L für l in Bereich (5000)] oder [i für i in Bereich (5000)] bei der Ausführung den gleichen Speicherplatz erzeugt und belegen, da Python diese Liste vollständig erstellt. Aus der Sicht des "Ob eine große Datenmenge erstellt wurde", sind Code 1 und Code 2 in der Listenerstellungsphase ähnlich.
2. Speicherlebenszyklus: Der Kernunterschied liegt im Lebenszyklus von Listenobjekten im Speicher.
   • In Szenario eins ist die Liste an die My_List -Variable gebunden, und ihr Speicher wird weiterhin verbraucht, bis der Lebenszyklus der Variablen von My_List endet.
   • In Szenario 2 ist die Liste ein vorübergehendes, anonymer Objekt. Es wird als Argument für die Funktion iter () erstellt und verwendet, und sobald die Funktion iter () zurückgibt und keine anderen Referenzen auf dieses Listenobjekt hinweisen, wird es sofort zum Kandidaten für die Müllsammlung. Dies bedeutet, dass der Gedächtnis Fußabdruck von kurzer Dauer ist.

Kurz gesagt, sowohl Func (Expression) als auch variable = Expression; Func (Variable) -Modi unter dem nicht-faulen Bewertungsmechanismus von Python muss der Expression vollständig berechnet und Speicher zugewiesen werden. Der einzige Unterschied besteht darin, dass nach der Rückgabe von Func (), wenn der Speicher nicht intern von func () gespeichert wird, sein Speicher sofort recycelbar ist. Während letzteres den Gedächtnislebenszyklus aufgrund der Existenz einer Variablen erweitert.

Optimierung und Vorsichtsmaßnahmen

Für Anwendungen, die sich mit großen Datensätzen befassen oder Speichereffizienz verfolgen, ist es häufig nicht die beste Wahl.

1. Optimieren Sie den Speicher mit Generatorausdrücken

Wenn Ihr Ziel darin besteht, einen Iterator zu erstellen und Sie die gesamte Liste gleichzeitig nicht im Speicher zu halten, sollten Sie Generatorausdrücke anstelle von Listenverständnissen verwenden. Der Generatorausdruck verwendet Klammern () anstelle von quadratischen Klammern [], die nicht alle Elemente gleichzeitig aufbauen, sondern sie auf Bedarf erzeugen:

 # Verwenden Sie den Generatorausdruck importieren Systeme

# my_generator_iter ist ein Generatorobjekt, das nicht alle 5000 Ganzzahlen sofort erstellt my_generator_iter = (i für i in Bereich (5000))
print (f "Speicherverbrauch von Generatorobjekt 'my_generator_iter': {sys.getSizeof (my_generator_iter)} Bytes (sehr klein)")

# Nur beim Iterieren werden Elemente nacheinander generiert und in my_generator_iter Speicher für Element aufnehmen:
    # Prozesselement
    passieren

Der Vorteil von Generatorausdrücken besteht darin, dass es nur bei Bedarf das nächste Element berechnet und generiert, wodurch der Spitzenspeicher -Fußabdruck stark reduziert wird.

2. Verstehen Sie die Verantwortlichkeiten der iter () -Funktion

Die Funktion der iter () -Funktion besteht darin, einen Iterator eines Objekts zu erhalten. Es ist nicht dafür verantwortlich, die Daten selbst zu erstellen, sondern einen Iterator aus einem vorhandenen iterbaren Objekt zu erhalten. Wenn Sie iter () eine große Liste bestehen, sind bereits die Erstellung und Speicherverwendung dieser großen Liste aufgetreten, und Iter () bietet auf dieser Grundlage nur einen Traversalmechanismus.

3. Pythons Müllsammlung Mechanismus

Python verwendet die Referenzzählung als Hauptmechanismus für Müllabfuhr. Wenn die Referenzzahl eines Objekts zu 0 wird, wird es ein Kandidat für die Müllsammlung. Für kreisförmige Referenzen verwendet Python auch den Mark-and-Sweep-Algorithmus zur Verarbeitung. Das Verständnis dieser Mechanismen hilft besser, das Gedächtnis zu verwalten.

Zusammenfassen

Wenn Python -Prozesse Verständnisse auflisten, unabhängig davon, ob das Ergebnis einer Variablen zugeordnet ist, führt es zunächst eine vollständige Bewertung durch und erstellt ein vollständiges Listenobjekt im Speicher. Daher ist iter ([i für i in Bereich (5000)]) und my_list = [L für l in Bereich (5000)]; ITER (my_list) sind in der anfänglichen Speicherzuweisung ähnlich, da beide eine Liste von 5000 Ganzzahlen erstellen. Der Hauptunterschied ist der Lebenszyklus dieses Listenobjekts: Eine Liste, die wörtlich nicht an eine Variable gebunden ist, wird nach Abschluss ihrer Verantwortlichkeiten (falls von iTer () ein Kandidat für die Müllsammlung schneller, während eine Liste einer Variablen bis zum Ende des Lebenszyklus der Variablen weiterhin Speicher verbraucht.

Um den Speicher effektiv zu verwalten, insbesondere wenn große Datenmengen verarbeitet werden, wird empfohlen, Generatorausdrücke für Element in iterable zu verwenden, um Iteratoren zu erstellen, um zu vermeiden, dass alle Daten gleichzeitig in den Speicher geladen werden.

Das obige ist der detaillierte Inhalt vonPython List Verständnis und Iterator-Speicherverhalten eingehender Analyse. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!