Heim > Backend-Entwicklung > Golang > Wie kann ich riesige JSON-Arrays streamen, um Speicherprobleme zu vermeiden?

Wie kann ich riesige JSON-Arrays streamen, um Speicherprobleme zu vermeiden?

Susan Sarandon
Freigeben: 2024-12-17 10:48:25
Original
291 Leute haben es durchsucht

How Can I Stream Decode Massive JSON Arrays to Avoid Memory Issues?

Streaming-Dekodierung von riesigen JSON-Arrays

Das Abrufen großer JSON-Arrays aus Dateien kann bei Verwendung von Unmarshal speicherintensiv sein, da das Ganze geladen wird Daten auf einmal in den Speicher. Um dieses Problem zu lösen, können wir Streaming-Techniken nutzen, um das Array Element für Element zu verarbeiten.

Beispiel für die Verwendung von Stream Decoder

Das Paket „encoding/json“ bietet eine Lösung für das Streaming von JSON Verarbeitung. Hier ist ein erweitertes Beispiel aus der Paketdokumentation:

package main

import (
    "encoding/json"
    "fmt"
    "log"
    "strings"
)

func main() {
    const jsonStream = `
                [
                    {"Name": "Ed", "Text": "Knock knock."},
                    {"Name": "Sam", "Text": "Who's there?"},
                    {"Name": "Ed", "Text": "Go fmt."},
                    {"Name": "Sam", "Text": "Go fmt who?"},
                    {"Name": "Ed", "Text": "Go fmt yourself!"}
                ]
            `
    type Message struct {
        Name, Text string
    }
    dec := json.NewDecoder(strings.NewReader(jsonStream))

    // read open bracket
    t, err := dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

    // while the array contains values
    for dec.More() {
        var m Message
        // decode an array value (Message)
        err := dec.Decode(&m)
        if err != nil {
            log.Fatal(err)
        }

        fmt.Printf("%v: %v\n", m.Name, m.Text)
    }

    // read closing bracket
    t, err = dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

}
Nach dem Login kopieren

In diesem Beispiel erstellen wir einen Stream-Decoder (dec) und verwenden dec.More() innerhalb einer Schleife, um die Array-Elemente zu durchlaufen. Jede Nachricht wird dekodiert und ihr Inhalt gedruckt, ohne dass das gesamte Array in den Speicher geladen wird.

Das obige ist der detaillierte Inhalt vonWie kann ich riesige JSON-Arrays streamen, um Speicherprobleme zu vermeiden?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage