Wie kann ich mit Hibernate 90 Millionen Datensätze effizient verarbeiten, ohne dass mir der Speicher ausgeht?

Mit den ScrollableResults von Hibernate 90 Millionen Datensätze inkrementell lesen

Die ScrollableResults-Schnittstelle von Hibernate bietet eine Möglichkeit, Abfrageergebnisse zu durchlaufen, ohne den gesamten Ergebnissatz in den Speicher zu laden. Wie diese Frage jedoch hervorhebt, kann die Verwendung von ScrollableResults mit einer großen Anzahl von Datensätzen zu Speicherproblemen führen, wenn der MySQL Connector/J-Treiber verwendet wird.

In solchen Fällen besteht die einzig praktische Option darin, die Ergebnisse zu durchlaufen in Stapeln mit den Methoden setFirstResult und setMaxResults. Auch wenn dieser Ansatz insbesondere bei großen Offsets ineffizient erscheinen mag, ist er doch der zuverlässigste Weg, Speicherprobleme zu vermeiden.

Idealerweise sollte eine zustandslose Sitzung verwendet werden, um Caching- oder Dirty-Tracking-Probleme auf Sitzungsebene zu vermeiden .

Eine weitere mögliche Optimierung besteht darin, das ID-Feld als letzte Spalte des Index zu verwenden und die Abfrage so zu ändern, dass jeweils ein Stapel von Datensätzen abgerufen wird, wobei als Anfang die höchste ID des vorherigen Stapels verwendet wird Punkt. Dies kann die Leistung verbessern, wenn other_conditions in der Abfrage Gleichheitsbedingungen verwenden.

Indem Sie die Abfrage wie folgt ändern:

select * 
from person 
where id > <max_id_of_last_batch> and <other_conditions> 
order by id asc  
limit <batch_size>

Sie können die durch das Laden großer Offsets verursachten Leistungseinbußen vermeiden und eine bessere Leistung erzielen effizienter Iterationsprozess.

Das obige ist der detaillierte Inhalt vonWie kann ich mit Hibernate 90 Millionen Datensätze effizient verarbeiten, ohne dass mir der Speicher ausgeht?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!