golang はストリームを実装します-Golang-php.cn

golang はストリームを実装します

王林

リリース： 2023-05-22 13:41:07

オリジナル

1210 人が閲覧しました

データ処理の需要が徐々に増加するにつれて、ストリーム処理は非常に重要な処理方法になりました。近年、Spark Streaming、Fink、Storm などのテクノロジーの登場により、この処理方法の適用がさらに促進されています。

Go 言語自体は優れた同時処理能力を備えているため、Go 言語に注目し、Go 言語を使用してストリーム処理を実装しようとする開発者が増えています。この記事では、Go言語を使って簡単なストリーム処理アプリケーションを作成する方法を紹介します。

ストリームとは何ですか?

始める前に、まずストリームとは何かについて説明しましょう。ストリームは、特定の順序で継続的に生成および消費される一連のデータ要素です。通常、ストリームは成長し、そのサイズは任意に大きくなる可能性があります。

ストリームは、ネットワークプログラミング、オーディオおよびビデオ処理、データ分析、機械学習などのさまざまな分野で広く使用されています。これらの分野では、ストリームの利点は明らかです。過剰なリソースを占有することなく、大量のデータをタイムリーに処理できるということです。

単純なストリーム処理の例

ストリーム処理アプリケーションの作成を開始する前に、まず単純なストリーム処理の例を見てみましょう。何らかのデータソースから一連の数値を読み取り、それらの合計を計算し、結果を出力するとします。

このアプリケーションは 3 つの主要なステップに分割できます:

データソースからデータストリームを読み取る;
計算を実行し、ステータスを更新する;
結果を出力します。

このアプリケーションを Go 言語で実装する方法を見てみましょう。

まず、データソースを定義し、そのデータソースをチャネルにプッシュする必要があります。この例では、単に整数のランダムなスライスを生成し、それをチャネルに送信します。

func generate() <-chan int {
    ch := make(chan int)
    go func() {
        for {
            ch <- rand.Intn(1000)
        }
    }()
    return ch
}

ログイン後にコピー

次に、計算関数を定義する必要があります。この関数は入力データストリームを受信し、必要な計算を実行します。この例では、各数値を追加して状態を更新するだけです。

func sum(input <-chan int) int {
    sum := 0
    for num := range input {
        sum += num
    }
    return sum
}

ログイン後にコピー

最後に、結果を出力する前に上記の関数を呼び出すだけです。

func main() {
    input := generate()
    fmt.Println(sum(input))
}

ログイン後にコピー

簡単なストリーム処理が完了しました。 Go 言語を使用してストリーム処理アプリケーションを実装する方法をより包括的に理解するために、徹底的な学習を続けてみましょう。

Go言語のチャネル

Go言語を使ってストリーム処理アプリケーションを実装する場合、チャネル(Channel)は欠かせない部分です。チャネルは、ゴルーチン間の特別な交換オブジェクトです。これらを使用してデータをやり取りできるため、Goroutine はデータ競合の問題を心配することなく安全にデータを交換できます。

Go 言語では、チャネルは make() 関数を通じて作成されます。チャネルには、一方向チャネルと双方向チャネルの 2 種類があります。一方向チャネルは、チャネルの送信または受信操作を制限する可能性があります。これにより、コードのセキュリティが向上します。

ch := make(chan int) // 创建一个双向通道
ch1 := make(chan<- int) // 创建一个只写通道
ch2 := make(<-chan int) // 创建一个只读通道

ログイン後にコピー

上記のコードは、双方向チャネル、送信専用チャネル、受信専用チャネルの 3 つのチャネルを作成します。

Go 言語での並行プログラミング

Go 言語を使用してストリーム処理アプリケーションを実装する場合、大量のデータを処理するために並行プログラミングを使用します。 Go 言語は、Goroutine と Channel を通じて非常に強力な同時処理機能を提供します。

Goroutine は、Go 言語コンパイラーによって自動的に管理される軽量のスレッドです。ゴルーチンを簡単に作成および破棄し、オンデマンドでシステムリソースを割り当てることができます。

Go 言語では、 go キーワードを使用して新しい Goroutine を開始します。以下は、Goroutine を使用して 2 つの関数を同時に実行する方法を示す簡単な例です。

func main() {
    go foo()
    go bar()
}

func foo() {
    // do something
}

func bar() {
    // do something else
}

ログイン後にコピー

上の例では、go キーワードを使用して 2 つの関数をそれぞれ開始します。これにより、異なるゴルーチンで 2 つの関数が同時に実行されます。

ストリーム処理アプリケーションでは、多くの場合、Goroutine を使用して並列処理プログラムを開始する必要があります。以下に、Goroutine を使用してハンドラーを同時に実行する方法を示す例を示します。

func main() {
    input := generate()
    ch1 := process(input)
    ch2 := process(input)
    fmt.Println(<-ch1 + <-ch2)
}

func process(input <-chan int) <-chan int {
    ch := make(chan int)
    go func() {
        for num := range input {
            // 这里执行处理操作
            ch <- num
        }
        close(ch)
    }()
    return ch
}

ログイン後にコピー

上の例では、2 つの Goroutine を使用して入力チャネルのデータを並列処理します。計算結果を出力し、出力チャンネルに送信します。