Go의 동시성 패턴 작업자 풀 및 팬아웃/팬인-Golang-php.cn

집

백엔드 개발

Golang

Go의 동시성 패턴 작업자 풀 및 팬아웃/팬인

Oct 07, 2024 pm 10:11 PM

Concurrency patterns in Go; worker pools and fan-out/fan-in

Go는 탁월한 동시성 모델로 유명하지만 많은 개발자는 고루틴과 채널에만 집중합니다. 그러나 작업자 풀 및 팬아웃/팬인과 같은 동시성 패턴은 실질적인 효율성을 제공합니다.

이 기사에서는 Go 애플리케이션의 처리량을 극대화하는 데 도움이 되는 고급 개념을 설명합니다.

동시성이 중요한 이유

동시성을 통해 프로그램은 특히 I/O 작업, 웹 요청 또는 백그라운드 처리와 같은 작업을 처리할 때 작업을 효율적으로 수행할 수 있습니다. Go에서 고루틴은 수천 개의 동시 작업을 관리할 수 있는 가벼운 방법을 제공하지만 구조가 없으면 병목 현상이 발생할 수 있습니다. 여기서 작업자 풀과 팬아웃/팬인 패턴이 필요합니다.

작업자 풀

작업자 풀을 사용하면 고정된 "작업자"에게 작업을 할당하여 고루틴 수를 제한할 수 있습니다. 이를 통해 초과 구독을 방지하고 리소스 소비를 줄이며 작업 실행을 관리하기 쉽게 만듭니다.


package main

import (
    "fmt"
    "sync"
    "time"
)

func worker(id int, jobs &lt;-chan int, results chan&lt;- int, wg *sync.WaitGroup) {
    defer wg.Done()
    for j := range jobs {
        fmt.Printf("Worker %d started job %d\n", id, j)
        time.Sleep(time.Second) // Simulate work
        fmt.Printf("Worker %d finished job %d\n", id, j)
        results &lt;- j * 2
    }
}

func main() {
    jobs := make(chan int, 100)
    results := make(chan int, 100)
    var wg sync.WaitGroup

    // Start 3 workers
    for w := 1; w &lt;= 3; w++ {
        wg.Add(1)
        go worker(w, jobs, results, &amp;wg)
    }

    // Send jobs
    for j := 1; j &lt;= 5; j++ {
        jobs &lt;- j
    }
    close(jobs)

    // Wait for workers to finish
    wg.Wait()
    close(results)

    for result := range results {
        fmt.Println("Result:", result)
    }
}

로그인 후 복사

이 예에서는:

작업을 동시에 처리하는 직원이 3명 있습니다.
각 작업은 채널을 통해 작업자에게 전달되며 처리를 위해 결과가 수집됩니다.

팬아웃/팬인 패턴

팬아웃/팬인 패턴을 사용하면 여러 고루틴이 동일한 작업을 처리할 수 있는 반면, 팬인은 결과를 다시 단일 출력으로 수집합니다. 작업을 분할한 후 결과를 집계하는 데 유용합니다.


package main

import (
    "fmt"
    "sync"
    "time"
)

func workerFanOut(id int, tasks &lt;-chan int, wg *sync.WaitGroup) {
    defer wg.Done()
    for task := range tasks {
        fmt.Printf("Worker %d processing task %d\n", id, task)
        time.Sleep(time.Second) // Simulate work
    }
}

func main() {
    var wg sync.WaitGroup
    tasks := make(chan int, 10)

    // Fan-out: Launch multiple workers
    for i := 1; i &lt;= 3; i++ {
        wg.Add(1)
        go workerFanOut(i, tasks, &amp;wg)
    }

    // Send tasks
    for i := 1; i &lt;= 9; i++ {
        tasks &lt;- i
    }
    close(tasks)

    // Wait for workers to finish
    wg.Wait()

    fmt.Println("All tasks are processed.")
}

로그인 후 복사

위 코드에서: