Golang에서 XML 구조를 효율적으로 크롤링하고 처리하려면 어떻게 해야 합니까?-Golang-php.cn

Golang에서 XML 구조를 효율적으로 크롤링하고 처리하려면 어떻게 해야 합니까?

Linda Hamilton

풀어 주다： 2024-12-11 20:49:15

원래의

360명이 탐색했습니다.

How Can I Efficiently Crawl and Process XML Structures in Golang?

Golang에서 XML 구조를 통해 크롤링

XML 구문 분석 세계에서 xml.Unmarshal 메소드는 XML 데이터를 Go 구조체로 변환하는 구조화된 접근 방식을 제공합니다. 그러나 전체 문서를 동적으로 탐색하려고 할 때 제약 조건으로 인해 문제가 발생합니다.

다음과 같은 XML 구조를 고려하세요.

<content>
    <p>this is content area</p>
    <animal>
        <p>This id dog</p>
        <dog>
           <p>tommy</p>
        </dog>
    </animal>
    <birds>
        <p>this is birds</p>
        <p>this is birds</p>
    </birds>
    <animal>
        <p>this is animals</p>
    </animal>
</content>

로그인 후 복사

이 구조를 순차적으로 탐색하려면 다음을 수행하는 방법이 필요합니다. :

각 노드와 그 하위 노드 처리
요소의 변경 사항에 적응 order

재귀가 포함된 바닐라 솔루션

이를 달성하려면 재귀 구조체와 간단한 걷기 기능을 통해 바닐라 인코딩/xml의 기능을 활용할 수 있습니다.

type Node struct {
    XMLName xml.Name
    Content []byte `xml:",innerxml"`
    Nodes   []Node `xml:",any"`
}

func walk(nodes []Node, f func(Node) bool) {
    for _, n := range nodes {
        if f(n) {
            walk(n.Nodes, f)
        }
    }
}

로그인 후 복사

이 접근 방식을 사용하면 전체 문서를 탐색하고 각 노드를 다음과 같이 처리할 수 있습니다. 필요합니다.

속성을 갖춘 향상된 솔루션

속성에 액세스해야 하는 경우 업데이트된 버전은 다음과 같습니다.

type Node struct {
    XMLName xml.Name
    Attrs   []xml.Attr `xml:",any,attr"`
    Content []byte     `xml:",innerxml"`
    Nodes   []Node     `xml:",any"`
}

func (n *Node) UnmarshalXML(d *xml.Decoder, start xml.StartElement) error {
    n.Attrs = start.Attr
    type node Node

    return d.DecodeElement((*node)(n), &amp;start)
}

로그인 후 복사

이점 이 접근 방식: