減少執行大事務時的記憶體消耗-Golang-PHP中文網

減少執行大事務時的記憶體消耗

WBOY

發布： 2024-02-10 23:06:08

轉載

503 人瀏覽過

減少執行大事務時的記憶體消耗

php小編柚子今天為大家介紹一個重要的技巧－如何減少執行大事務時的記憶體消耗。在處理大量資料或執行複雜操作時，記憶體消耗可能成為一個嚴重的問題。為了解決這個問題，我們需要採取一些最佳化措施，以提高程式碼的效率和效能。本文將為您詳細介紹一些減少記憶體消耗的方法和技巧，幫助您在處理大事務時更有效率地利用記憶體資源。

問題內容

我按照 internet 上的範例，使用以下 sqlite 參數提高了 insert 查詢的速度：

pragma journal_mode = off;
pragma synchronous = 0;
pragma cache_size = 1000000;
pragma locking_mode = exclusive;
pragma temp_store = memory;

登入後複製

這是我的程式碼：

tx, err := db.begin()
if err != nil {
    log.fatal(err)
}
pr, err := tx.prepare("insert into table (p1, p2, p3, p4, p5) values (?, ?, ?, ?, ?)")
if err != nil {
    log.fatal(err)
}
defer pr.close()
for i := 0; i < maxi; i++ {
    for j := 0; j < maxj; j++ {
        ...
        _, err = pr.exec(param1, param2, param3, param4, param5)
        if err != nil {
            log.fatal(err)
        }
    }
}
err = tx.commit()
if err != nil {
    log.fatal(err)
}

登入後複製

現在查詢運行速度很快，但消耗了太多 ram。因為資料儲存在ram中，只有在執行的最後才保存到資料庫檔案中。

我認為可以定期將資料保存到資料庫檔案中，這樣會稍微增加執行時間，但會減少記憶體消耗。隨著「i」的每次變化，交易開始，當所有「j」完成時，交易結束：

for i := 0; i < maxI; i++ {
    tx, err := db.Begin()
    if err != nil {
        log.Fatal(err)
    }
    pr, err := tx.Prepare("INSERT INTO Table (p1, p2, p3, p4, p5) VALUES (?, ?, ?, ?, ?)")
    if err != nil {
        log.Fatal(err)
    }
    defer pr.Close()
    for j := 0; j < maxJ; j++ {
        ...
        _, err = pr.Exec(param1, param2, param3, param4, param5)
        if err != nil {
            log.Fatal(err)
        }
    }
    err = tx.Commit()
    if err != nil {
        log.Fatal(err)
    }
}

登入後複製

我認為現在資料應該以區塊的形式寫入文件，並且 ram 中應該只有一個資料區塊。

但在執行過程中，資料並沒有儲存到檔案中，ram持續被填滿。也就是說，第一個和第二個程式碼選項的執行沒有差別。

我認為當調用事務的“commit”時，資料應該保存到檔案中，並且應該清除ram。請告訴我我做錯了什麼。