Reduzieren Sie den Speicherverbrauch bei der Ausführung großer Transaktionen

Der PHP-Editor Youzi stellt Ihnen heute eine wichtige Technik vor – wie Sie den Speicherverbrauch bei der Ausführung großer Transaktionen reduzieren können. Bei der Verarbeitung großer Datenmengen oder der Ausführung komplexer Vorgänge kann der Speicherverbrauch zu einem ernsthaften Problem werden. Um dieses Problem zu lösen, müssen wir einige Optimierungsmaßnahmen ergreifen, um die Effizienz und Leistung des Codes zu verbessern. In diesem Artikel werden einige Methoden und Techniken zur Reduzierung des Speicherverbrauchs ausführlich vorgestellt und Ihnen dabei geholfen, Speicherressourcen bei der Verarbeitung großer Transaktionen effizienter zu nutzen.

Frageninhalt

Ich habe die Beispiele im Internet befolgt und die folgenden SQLite-Parameter verwendet, um die Geschwindigkeit von Einfügeabfragen zu verbessern:

pragma journal_mode = off;
pragma synchronous = 0;
pragma cache_size = 1000000;
pragma locking_mode = exclusive;
pragma temp_store = memory;

Das ist mein Code:

tx, err := db.begin()
if err != nil {
    log.fatal(err)
}
pr, err := tx.prepare("insert into table (p1, p2, p3, p4, p5) values (?, ?, ?, ?, ?)")
if err != nil {
    log.fatal(err)
}
defer pr.close()
for i := 0; i < maxi; i++ {
    for j := 0; j < maxj; j++ {
        ...
        _, err = pr.exec(param1, param2, param3, param4, param5)
        if err != nil {
            log.fatal(err)
        }
    }
}
err = tx.commit()
if err != nil {
    log.fatal(err)
}

Jetzt läuft die Abfrage schnell, verbraucht aber zu viel RAM. Da die Daten im RAM gespeichert sind, werden sie erst am Ende der Ausführung in der Datenbankdatei gespeichert.

Ich denke, es ist möglich, die Daten regelmäßig in einer Datenbankdatei zu speichern, was die Ausführungszeit leicht verlängert, aber den Speicherverbrauch verringert. Mit jeder Änderung von „i“ beginnt die Transaktion und wenn alle „j“ abgeschlossen sind, endet die Transaktion:

for i := 0; i < maxI; i++ {
    tx, err := db.Begin()
    if err != nil {
        log.Fatal(err)
    }
    pr, err := tx.Prepare("INSERT INTO Table (p1, p2, p3, p4, p5) VALUES (?, ?, ?, ?, ?)")
    if err != nil {
        log.Fatal(err)
    }
    defer pr.Close()
    for j := 0; j < maxJ; j++ {
        ...
        _, err = pr.Exec(param1, param2, param3, param4, param5)
        if err != nil {
            log.Fatal(err)
        }
    }
    err = tx.Commit()
    if err != nil {
        log.Fatal(err)
    }
}

Ich denke, jetzt sollten die Daten in Blöcken in die Datei geschrieben werden und es sollte nur ein Datenblock im RAM vorhanden sein.

Aber während der Ausführung werden die Daten nicht in der Datei gespeichert und der RAM wird weiterhin gefüllt. Das heißt, es gibt keinen Unterschied in der Ausführung der ersten und zweiten Codeoption.

Ich denke, wenn „Commit“ der Transaktion aufgerufen wird, sollten die Daten in der Datei gespeichert und der RAM geleert werden. Bitte sagen Sie mir, was ich falsch mache.

Lösung

PRAGMAcache_sizeDer Parameter ist die Anzahl der Seiten (im Allgemeinen 4 KB pro Seite).

PRAGMA cache_size = 1000000;Dem Seitencache werden maximal 4 GB RAM zugewiesen. Der Seitencache wird bei Bedarf bis zu einer maximalen Größe zugewiesen, aber erst freigegeben, wenn die Verbindung geschlossen wird.

Da Sie eine große Anzahl von Zeilen einfügen, landen diese auf unterschiedlichen Seiten, sodass Sie letztendlich alle Seiten, die auf die Festplatte geschrieben wurden, im Cache behalten, bis der Cache gefüllt ist.

Wenn Sie den Speicherverbrauch reduzieren möchten, reduzieren Sie einfach den Wert auf etwa 1000 (entspricht 4 MB) oder löschen Sie ihn einfach. Der Standardcache beträgt 2 MB, was ausreichend ist, wenn Sie nur Zeilen einfügen.

Beachten Sie außerdem, dass die Daten auf die Festplatte geschrieben werden, wenn Sie COMMIT aufrufen (oder sogar vor dem Festschreiben, wenn nicht genügend Cache vorhanden ist). SQLite behält jedoch eine Kopie im Cache für den Fall, dass sie später benötigt wird, um ein erneutes Lesen von der Festplatte zu vermeiden.

Das obige ist der detaillierte Inhalt vonReduzieren Sie den Speicherverbrauch bei der Ausführung großer Transaktionen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!