首頁 > 後端開發 > Golang > 如何在不將物件載入記憶體的情況下以 JSON 形式編碼大型資料流?

如何在不將物件載入記憶體的情況下以 JSON 形式編碼大型資料流?

Susan Sarandon
發布: 2024-10-28 04:08:30
原創
299 人瀏覽過

 How Can We Encode Large Data Streams in JSON Without Loading Objects in Memory?

在不載入記憶體物件的情況下將大數據流編碼為JSON

在涉及大量資料流的場景中,json 當嘗試將所有物件同時編碼到記憶體中時,套件可能會遇到限制。考慮以下場景:

<code class="go">type T struct {
    Foo string

    // Bar represents a large stream of objects
    // that we don't want to load entirely into memory.
    Bar chan string
}</code>
登入後複製

嘗試使用 json.Encoder 進行編組時,由於不支援的類型 chan 字串而發生錯誤。

<code class="go">if err := json.NewEncoder(os.Stdout).Encode(&t); err != nil {
    log.Fatal(err)
}</code>
登入後複製

在此類情況下,手動建構JSON 字串變得必要。然而,更有效率的機制是可取的。

如果 json.Marshaler 介面類似於這種結構,編碼過程會更簡單:

<code class="go">type Marshaler interface {
    MarshalJSON(io.Writer) error
}</code>
登入後複製

不幸的是,目前的encoding/json套件缺乏這樣的機制。因此,定制內置包可能是必要的。為此,需要修改encoding/json/encode.go 中的reflectValueQuoted 函式。具體來說,重點應放在數組情況(通過切片)以及添加通道情況。

<code class="go">// Case Array:
e.WriteByte('[')
n := v.Len()
for i := 0; i < n; i++ {
    if i > 0 {
        e.WriteByte(',')
    }
    e.reflectValue(v.Index(i))
}
e.WriteByte(']')

// Case Chan:
e.WriteByte('[')
i := 0
for {
    x, ok := v.Recv()
    if !ok {
        break
    }
    if i > 0 {
        e.WriteByte(',')
    }
    e.reflectValue(x)
    i++
}
e.WriteByte(']')</code>
登入後複製

注意: 通道情況可能需要額外檢查在上面的程式碼中並不明顯。

透過實現這些修改,通道將在編碼過程中被視為類似於數組。此修改可以作為編碼/json 包的補丁提交以供潛在包含。

以上是如何在不將物件載入記憶體的情況下以 JSON 形式編碼大型資料流?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板