在不讀取整個有效負載的情況下解碼JSON 流
在這種情況下，我們需要解碼透過HTTP 流接收的JSON 資料而不載入整個反應進入記憶。目標是處理單一 JSON 項（在陣列中表示為「大物件」），並在收到它們時將它們分派到訊息佇列。
事件驅動的 JSON 解析
為了實現這一點，我們使用 json.Decoder 及其 Decode() 和 Token() 方法。 Decode() 可用於解組單一值，而 Token() 允許我們僅解析 JSON 流中的下一個標記，使我們能夠增量處理資料。
On-the- Fly 令牌處理
我們建立一個「狀態機」來追蹤我們在 JSON 結構中的位置。透過分析每個標記，我們瀏覽物件層次結構，識別「items」陣列及其大物件元素。
程式碼實作
package main
import (
"bufio"
"encoding/json"
"fmt"
"io"
"log"
"os"
)
// Helper error handler
func he(err error) {
if err != nil {
log.Fatal(err)
}
}
// Large object struct
type LargeObject struct {
Id string `json:"id"`
Data string `json:"data"`
}
func main() {
// JSON input for demonstration
in := `{"somefield": "value", "otherfield": "othervalue", "items": [ {"id": "1", "data": "data1"}, {"id": "2", "data": "data2"}, {"id": "3", "data": "data3"}, {"id": "4", "data": "data4"}]}`
dec := json.NewDecoder(strings.NewReader(in))
// Expect an object
t, err := dec.Token()
he(err)
if delim, ok := t.(json.Delim); !ok || delim != '{' {
log.Fatal("Expected object")
}
// Read props
for dec.More() {
t, err = dec.Token()
he(err)
prop := t.(string)
if t != "items" {
var v interface{}
he(dec.Decode(&v))
fmt.Printf("Property '%s' = %v\n", prop, v)
continue
}
// It's the "items". Expect an array
t, err = dec.Token()
he(err)
if delim, ok := t.(json.Delim); !ok || delim != '[' {
log.Fatal("Expected array")
}
// Read items (large objects)
for dec.More() {
// Read next item (large object)
lo := LargeObject{}
he(dec.Decode(&lo))
fmt.Printf("Item: %+v\n", lo)
}
// Array closing delim
t, err = dec.Token()
he(err)
if delim, ok := t.(json.Delim); !ok || delim != ']' {
log.Fatal("Expected array closing")
}
}
// Object closing delim
t, err = dec.Token()
he(err)
if delim, ok := t.(json.Delim); !ok || delim != '}' {
log.Fatal("Expected object closing")
}
}範例輸出
Property 'somefield' = value
Property 'otherfield' = othervalue
Item: {Id:1 Data:data1}
Item: {Id:2 Data:data2}
Item: {Id:3 Data:data3}
Item: {Id:4 Data:data4}透過使用這種事件驅動的解析方法，我們可以有效地處理大的JSON 增量回應，避免過多的記憶體消耗。
以上是如何在不將整個負載載入到記憶體的情況下高效解碼 JSON 流？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
