Golang WaitGroup和协程池的高效结合

王林
王林 原创
2023-09-28 17:22:49 837浏览

Golang WaitGroup和协程池的高效结合

Golang WaitGroup和协程池的高效结合,需要具体代码示例

引言:
Go语言是一门强调并发编程的语言,通过协程(goroutine)的方式实现高效并发执行。在一些需要同时执行多个任务的场景中,使用WaitGroup和协程池的组合可以有效地提高程序的执行效率和资源利用率。本文将介绍如何使用Golang中的WaitGroup和协程池来实现高效的并发编程,并提供具体的代码示例。

一、WaitGroup简介
WaitGroup是Go语言中用于等待一组协程执行完成的工具。其源码定义如下:

type WaitGroup struct {
    noCopy noCopy

    // 64位的值:高32位存储计数器,低32位存储等待计数器
    // 这个变量可以被原子操作加载和存储。
    // 在64位同步原语中,它必须在64位边界对齐。
    // 是一个强制的要求。
    state1 [3]uint32
}

WaitGroup通常在主goroutine中创建,然后主goroutine中的每个子goroutine调用Add方法增加计数器,执行完毕后通过Done方法减少计数器。主goroutine可以通过Wait方法来等待计数器归零。具体示例代码如下:

package main

import (
    "fmt"
    "sync"
)

func main() {
    var wg sync.WaitGroup
    wg.Add(3)

    go func() {
        defer wg.Done()
        fmt.Println("Task 1 executing")
    }()

    go func() {
        defer wg.Done()
        fmt.Println("Task 2 executing")
    }()

    go func() {
        defer wg.Done()
        fmt.Println("Task 3 executing")
    }()

    wg.Wait()
    fmt.Println("All tasks completed")
}

在上述示例中,我们创建了一个WaitGroup对象,然后通过调用Add方法来增加计数器。接着,我们创建了三个子goroutine,每个goroutine执行完成后通过Done方法减少计数器。最后,主goroutine通过调用Wait方法来等待计数器归零。当所有任务执行完毕后,程序将输出"All tasks completed"。

二、协程池简介
在并发编程中,协程池(goroutine pool)是一种常用的模式。通过创建一组固定数量的goroutine,并将任务均匀分发给它们,可以避免不断创建和销毁goroutine的开销。在Go语言中,可以使用channel来实现协程池。具体示例代码如下:

package main

import (
    "fmt"
    "sync"
)

func worker(id int, jobs <-chan int, results chan<- int) {
    for j := range jobs {
        fmt.Println("Worker", id, "started job", j)
        fib := fibonacci(j)
        fmt.Println("Worker", id, "finished job", j)
        results <- fib
    }
}

func fibonacci(n int) int {
    if n <= 1 {
        return n
    }

    return fibonacci(n-1) + fibonacci(n-2)
}

const numJobs = 5
const numWorkers = 3

func main() {
    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

    var wg sync.WaitGroup
    wg.Add(numWorkers)

    for w := 1; w <= numWorkers; w++ {
        go func(id int) {
            defer wg.Done()
            worker(id, jobs, results)
        }(w)
    }

    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

    wg.Wait()

    for r := 1; r <= numJobs; r++ {
        fmt.Println(<-results)
    }
}

在上述示例中,我们定义了worker函数,该函数从jobs channel中读取待处理的任务,然后执行任务并将结果发送到results channel中。我们创建了一个jobs channel和一个results channel,通过分发任务和获取结果来实现协程池的功能。

在主函数中,我们使用WaitGroup来等待所有工人(goroutine)完成任务执行。然后,我们向jobs channel发送待执行的任务,并在执行完毕后关闭该channel。最后,我们从results channel中获取计算结果并输出。

三、WaitGroup和协程池的高效结合案例
接下来,我们将结合上述两个概念,介绍如何高效地使用WaitGroup和协程池来实现并发编程。具体示例代码如下:

package main

import (
    "fmt"
    "sync"
)

func worker(id int, jobs <-chan int, results chan<- int) {
    for j := range jobs {
        fmt.Println("Worker", id, "started job", j)
        fib := fibonacci(j)
        fmt.Println("Worker", id, "finished job", j)
        results <- fib
    }
}

func fibonacci(n int) int {
    if n <= 1 {
        return n
    }

    return fibonacci(n-1) + fibonacci(n-2)
}

const numJobs = 5
const numWorkers = 3

func main() {
    var wg sync.WaitGroup
    wg.Add(numWorkers)

    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

    for w := 1; w <= numWorkers; w++ {
        go func(id int) {
            defer wg.Done()
            worker(id, jobs, results)
        }(w)
    }

    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

    go func() {
        wg.Wait()
        close(results)
    }()

    for r := range results {
        fmt.Println(r)
    }
}

在上述示例中,我们创建了一个WaitGroup对象,并通过调用Add方法增加计数器。然后,我们创建了一个jobs channel和一个results channel,用于分发任务和获取结果。我们创建了一组固定数量的工人(goroutine),并使用Wait方法来等待它们完成任务。

在主函数中,我们向jobs channel发送待执行的任务,并在执行完毕后关闭该channel。然后,我们启动一个协程来等待所有工人完成任务,并在完成后关闭results channel。最后,我们通过从results channel中获取计算结果来输出。

结论:
通过结合使用WaitGroup和协程池的方式,我们可以高效地实现并发编程。通过使用WaitGroup来等待一组协程的执行完成,可以保证主goroutine在所有任务完成后继续执行。而通过使用协程池,我们可以避免频繁地创建和销毁goroutine的开销,提高程序的执行效率和资源利用率。

代码示例中的斐波那契数列计算只是一个演示示例,实际应用中可以根据具体需求替换为其他任务。使用WaitGroup和协程池,我们可以更好地控制并发执行的任务数量,有效地利用计算资源。

尽管Go语言提供了丰富的并发编程工具和特性,但在使用时仍需谨慎。合理地使用WaitGroup和协程池,可以帮助我们更好地管理和调度goroutine,并实现高效的并发编程。

以上就是Golang WaitGroup和协程池的高效结合的详细内容,更多请关注php中文网其它相关文章!

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。