首页 > 后端开发 > Golang > 如何对海量 JSON 数组进行流式解码以避免内存问题?

如何对海量 JSON 数组进行流式解码以避免内存问题?

Susan Sarandon
发布: 2024-12-17 10:48:25
原创
291 人浏览过

How Can I Stream Decode Massive JSON Arrays to Avoid Memory Issues?

大规模 JSON 数组的流式解码

使用 Unmarshal 时,从文件中检索大型 JSON 数组可能会占用大量内存,因为它会加载整个数组数据立即存入内存。为了解决这个问题,我们可以利用流技术逐个元素地处理数组。

使用流解码器的示例

encoding/json 包提供了流式 JSON 的解决方案加工。以下是包文档中的扩展示例:

package main

import (
    "encoding/json"
    "fmt"
    "log"
    "strings"
)

func main() {
    const jsonStream = `
                [
                    {"Name": "Ed", "Text": "Knock knock."},
                    {"Name": "Sam", "Text": "Who's there?"},
                    {"Name": "Ed", "Text": "Go fmt."},
                    {"Name": "Sam", "Text": "Go fmt who?"},
                    {"Name": "Ed", "Text": "Go fmt yourself!"}
                ]
            `
    type Message struct {
        Name, Text string
    }
    dec := json.NewDecoder(strings.NewReader(jsonStream))

    // read open bracket
    t, err := dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

    // while the array contains values
    for dec.More() {
        var m Message
        // decode an array value (Message)
        err := dec.Decode(&m)
        if err != nil {
            log.Fatal(err)
        }

        fmt.Printf("%v: %v\n", m.Name, m.Text)
    }

    // read closing bracket
    t, err = dec.Token()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("%T: %v\n", t, t)

}
登录后复制

在此示例中,我们创建一个流解码器 (dec) 并在循环中使用 dec.More() 来迭代数组元素。每条消息都会被解码并打印其内容,而无需将整个数组加载到内存中。

以上是如何对海量 JSON 数组进行流式解码以避免内存问题?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板