Golangでクローラーを停止する方法-Golang-php.cn

Golangでクローラーを停止する方法

PHPz

リリース： 2023-04-25 18:32:20

オリジナル

743 人が閲覧しました

インターネットの発展に伴い、クローラー技術は徐々にネットワーク情報を取得するための重要なツールの 1 つになってきました。クローラーテクノロジーを使用して Web サイトから大量のデータを取得し、より正確な分析や予測を行うことができます。しかし、クローラは多くの困難や制限にも直面しており、特に Golang プログラミングでは、クローラの停止は依然として一般的な問題です。

Golang は比較的新しいプログラミング言語であり、その登場は幅広い注目を集めています。 Go 言語は他の言語と比較して、効率性、シンプルさ、同時実行性などの利点があるため、ネットワークプログラミング、システムプログラミング、クラウドコンピューティングなどの分野で広く使用されています。ただし、Golang をクローラープログラミングで使用する場合は、いくつかの問題にも注意する必要があります。

一般に、クローラーの作成には、Web ページの要求と Web ページの解析という 2 つの基本操作が含まれます。 Golang の標準ライブラリには、「net/http」と「goquery」という 2 つのパッケージが用意されており、それぞれリクエストの送信と HTML ドキュメントの解析に使用されます。これらのツールを使用して完全なクローラープログラムを実装できます。コードは次のとおりです:

package main

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "net/http"
)

func main() {
    // Step 1: 发送请求
    url := "https://www.example.com"
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")
    client := &http.Client{}
    resp, _ := client.Do(req)
    defer resp.Body.Close()

    // Step 2: 解析网页
    doc, _ := goquery.NewDocumentFromReader(resp.Body)
    doc.Find("a").Each(func(i int, s *goquery.Selection) {
        href, _ := s.Attr("href")
        fmt.Println(href)
    })
}

ログイン後にコピー

このコードでは、最初に "net/http" パッケージを使用して HTTP リクエストを送信し、次に "goquery" を使用します。 " package HTML ドキュメントを解析して、ターゲット Web ページ内のすべてのリンクを取得します。この時点で、クローラープログラムの実行を停止する方法を検討する必要があるかもしれません。

一般的なアプローチは、カウンターを設定し、特定の値に達したときにクローラーを停止することです。 Go 言語では、「select」ステートメントと「chan」型変数を使用してタイマー関数を実装できます。具体的な動作は次のとおりです:

package main

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "net/http"
    "time"
)

func main() {
    url := "https://www.example.com"
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")

    client := &http.Client{}
    resp, _ := client.Do(req)
    defer resp.Body.Close()

    doc, _ := goquery.NewDocumentFromReader(resp.Body)

    done := make(chan int)
    go func() {
        doc.Find("a").Each(func(i int, s *goquery.Selection) {
            href, _ := s.Attr("href")
            fmt.Println(href)
            if i == 10 { //停止条件
                done <- 1
            }
        })
    }()

    select {
    case <-done:
        fmt.Println("Done!")
    case <-time.After(time.Second * 10):
        fmt.Println("Time out!")
    }
}

ログイン後にコピー

この例では、chan 型変数「done」を使用して通信します。カウンタが特定の値に達すると、メッセージがメソッドを通じてメインプロセスに送信されます。クローラープログラムの動作を停止する変数「done」。同時に10秒タイマーも設定しており、クロールタスクが10秒以内に完了できない場合、プログラムは自動的に停止します。

要約すると、Golang プログラミングでは、標準ライブラリの "net/http" および "goquery" パッケージを使用してリクエストを送信し、HTML ドキュメントを解析できます。同時に、"select" ステートメントを使用します。タイマーおよび通信機能を実装するための「chan」型変数。これらのツールは、効率的で安定したクローラプログラムを作成し、必要に応じてプログラムの実行を適切なタイミングで停止し、不必要なデータの無駄やコンピューティングリソースの消費を回避するのに役立ちます。

以上がGolangでクローラーを停止する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。