如何在不将对象加载到内存中的情况下以 JSON 形式编码大型数据流？-Golang-PHP中文网

如何在不将对象加载到内存中的情况下以 JSON 形式编码大型数据流？

Susan Sarandon

发布： 2024-10-28 04:08:30

原创

300 人浏览过

How Can We Encode Large Data Streams in JSON Without Loading Objects in Memory?

在不加载内存对象的情况下将大数据流编码为 JSON

在涉及大量数据流的场景中，json 当尝试将所有对象同时编码到内存中时，包可能会遇到限制。考虑以下场景：

<code class="go">type T struct {
    Foo string

    // Bar represents a large stream of objects
    // that we don't want to load entirely into memory.
    Bar chan string
}</code>

登录后复制

尝试使用 json.Encoder 进行编组时，由于不支持的类型 chan 字符串而发生错误。

<code class="go">if err := json.NewEncoder(os.Stdout).Encode(&t); err != nil {
    log.Fatal(err)
}</code>

登录后复制

在此类情况下，手动构造JSON 字符串变得必要。然而，更高效的机制是可取的。

如果 json.Marshaler 接口类似于这种结构，编码过程会更简单：

<code class="go">type Marshaler interface {
    MarshalJSON(io.Writer) error
}</code>

登录后复制

不幸的是，目前的encoding/json包缺乏这样的机制。因此，定制内置包可能是必要的。为此，需要修改encoding/json/encode.go 中的reflectValueQuoted 函数。具体来说，重点应放在数组情况（通过切片）以及添加通道情况。

<code class="go">// Case Array:
e.WriteByte('[')
n := v.Len()
for i := 0; i < n; i++ {
    if i > 0 {
        e.WriteByte(',')
    }
    e.reflectValue(v.Index(i))
}
e.WriteByte(']')

// Case Chan:
e.WriteByte('[')
i := 0
for {
    x, ok := v.Recv()
    if !ok {
        break
    }
    if i > 0 {
        e.WriteByte(',')
    }
    e.reflectValue(x)
    i++
}
e.WriteByte(']')</code>

登录后复制

注意： 通道情况可能需要额外检查在上面的代码中并不明显。

通过实现这些修改，通道将在编码过程中被视为类似于数组。此修改可以作为编码/json 包的补丁提交以供潜在包含。

以上是如何在不将对象加载到内存中的情况下以 JSON 形式编码大型数据流？的详细内容。更多信息请关注PHP中文网其他相关文章！