在不載入記憶體物件的情況下將大數據流編碼為JSON
在涉及大量資料流的場景中,json 當嘗試將所有物件同時編碼到記憶體中時,套件可能會遇到限制。考慮以下場景:
<code class="go">type T struct { Foo string // Bar represents a large stream of objects // that we don't want to load entirely into memory. Bar chan string }</code>
嘗試使用 json.Encoder 進行編組時,由於不支援的類型 chan 字串而發生錯誤。
<code class="go">if err := json.NewEncoder(os.Stdout).Encode(&t); err != nil { log.Fatal(err) }</code>
在此類情況下,手動建構JSON 字串變得必要。然而,更有效率的機制是可取的。
如果 json.Marshaler 介面類似於這種結構,編碼過程會更簡單:
<code class="go">type Marshaler interface { MarshalJSON(io.Writer) error }</code>
不幸的是,目前的encoding/json套件缺乏這樣的機制。因此,定制內置包可能是必要的。為此,需要修改encoding/json/encode.go 中的reflectValueQuoted 函式。具體來說,重點應放在數組情況(通過切片)以及添加通道情況。
<code class="go">// Case Array: e.WriteByte('[') n := v.Len() for i := 0; i < n; i++ { if i > 0 { e.WriteByte(',') } e.reflectValue(v.Index(i)) } e.WriteByte(']') // Case Chan: e.WriteByte('[') i := 0 for { x, ok := v.Recv() if !ok { break } if i > 0 { e.WriteByte(',') } e.reflectValue(x) i++ } e.WriteByte(']')</code>
注意: 通道情況可能需要額外檢查在上面的程式碼中並不明顯。
透過實現這些修改,通道將在編碼過程中被視為類似於數組。此修改可以作為編碼/json 包的補丁提交以供潛在包含。
以上是如何在不將物件載入記憶體的情況下以 JSON 形式編碼大型資料流?的詳細內容。更多資訊請關注PHP中文網其他相關文章!