经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » Go语言 » 查看文章
Go并发控制WaitGroup的使用场景分析
来源:jb51  时间:2021/7/12 11:32:25  对本文有异议

1. 前言

上一篇介绍了 Go并发控制--Channel

使用channel来控制子协程的优点是实现简单,缺点是当需要大量创建协程时就需要有相同数量的channel,而且对于子协程继续派生出来的协程不方便控制。

2. 使用WaitGroup控制

WaitGroup,可理解为Wait-Goroutine-Group,即等待一组goroutine结束。比如某个goroutine需要等待其他几个goroutine全部完成,那么使用WaitGroup可以轻松实现。


2.1 使用场景

下面程序展示了一个goroutine等待另外两个goroutine结束的例子:

  1. package main
  2.  
  3. import (
  4. "fmt"
  5. "time"
  6. "sync"
  7. )
  8.  
  9. func main() {
  10. var wg sync.WaitGroup
  11.  
  12. wg.Add(2) //设置计数器,数值即为goroutine的个数
  13. go func() {
  14. //Do some work
  15. time.Sleep(1*time.Second)
  16.  
  17. fmt.Println("Goroutine 1 finished!")
  18. wg.Done() //goroutine执行结束后将计数器减1
  19. }()
  20.  
  21. go func() {
  22. //Do some work
  23. time.Sleep(2*time.Second)
  24.  
  25. fmt.Println("Goroutine 2 finished!")
  26. wg.Done() //goroutine执行结束后将计数器减1
  27. }()
  28.  
  29. wg.Wait() //主goroutine阻塞等待计数器变为0
  30. fmt.Printf("All Goroutine finished!")
  31. }

简单的说,上面程序中wg内部维护了一个计数器:

  • 启动goroutine前将计数器通过Add(2)将计数器设置为待启动的goroutine个数。
  • 启动goroutine后,使用Wait()方法阻塞自己,等待计数器变为0。
  • 每个goroutine执行结束通过Done()方法将计数器减1。
  • 计数器变为0后,阻塞的goroutine被唤醒

其实WaitGroup也可以实现一组goroutine等待另一组goroutine,这有点像玩杂技,很容出错,如果不了解其实现原理更是如此。实际上,WaitGroup的实现源码非常简单。


2.2 信号量

信号量是Unix系统提供的一种保护共享资源的机制,用于防止多个线程同时访问某个资源

可简单理解为信号量为一个数值:

  • 当信号量>0时,表示资源可用,获取信号量时系统自动将信号量减1;
  • 当信号量==0时,表示资源暂不可用,获取信号量时,当前线程会进入睡眠,当信号量为正时被唤醒;

1.3 WaitGroup 数据结构

源码包中src/sync/waitgroup.go:WaitGroup定义了其数据结构:

  1. type WaitGroup struct {
  2. state1 [3]uint32
  3. }

state1是个长度为3的数组,其中包含了state和一个信号量,而state实际上是两个计数器:

  • counter: 当前还未执行结束的goroutine计数器
  • waiter count: 等待goroutine-group结束的goroutine数量,即有多少个等候者
  • semaphore: 信号量

考虑到字节是否对齐,三者出现的位置不同,为简单起见,依照字节已对齐情况下,三者在内存中的位置如下所示:

WaitGroup对外提供三个接口:

  • Add(delta int): 将delta值加到counter中
  • Wait(): waiter递增1,并阻塞等待信号量semaphore
  • Done(): counter递减1,按照waiter数值释放相应次数信号量

下面分别介绍这三个函数的实现细节。

2.3.1 Add () 方法

Add()做了两件事,一是把delta值累加到counter中,因为delta可以为负值,也就是说counter有可能变成0或负值,所以第二件事就是当counter值变为0时,根据waiter数值释放等量的信号量,把等待的goroutine全部唤醒,如果counter变为负值,则panic.

Add()伪代码如下:

  1. func (wg *WaitGroup) Add(delta int) {
  2. statep, semap := wg.state() //获取state和semaphore地址指针
  3.  
  4. state := atomic.AddUint64(statep, uint64(delta)<<32) //把delta左移32位累加到state,即累加到counter中
  5. v := int32(state >> 32) //获取counter值
  6. w := uint32(state) //获取waiter值
  7.  
  8. if v < 0 { //经过累加后counter值变为负值,panic
  9. panic("sync: negative WaitGroup counter")
  10. }
  11.  
  12. //经过累加后,此时,counter >= 0
  13. //如果counter为正,说明不需要释放信号量,直接退出
  14. //如果waiter为零,说明没有等待者,也不需要释放信号量,直接退出
  15. if v > 0 || w == 0 {
  16. return
  17. }
  18.  
  19. //此时,counter一定等于0,而waiter一定大于0(内部维护waiter,不会出现小于0的情况),
  20. //先把counter置为0,再释放waiter个数的信号量
  21. *statep = 0
  22. for ; w != 0; w-- {
  23. runtime_Semrelease(semap, false) //释放信号量,执行一次释放一个,唤醒一个等待者
  24. }
  25. }

2.3.2 Wait()

Wait()方法也做了两件事,一是累加waiter, 二是阻塞等待信号量

  1. func (wg *WaitGroup) Wait() {
  2. statep, semap := wg.state() //获取state和semaphore地址指针
  3. for {
  4. state := atomic.LoadUint64(statep) //获取state值
  5. v := int32(state >> 32) //获取counter值
  6. w := uint32(state) //获取waiter值
  7. if v == 0 { //如果counter值为0,说明所有goroutine都退出了,不需要待待,直接返回
  8. return
  9. }
  10.  
  11. // 使用CAS(比较交换算法)累加waiter,累加可能会失败,失败后通过for loop下次重试
  12. if atomic.CompareAndSwapUint64(statep, state, state+1) {
  13. runtime_Semacquire(semap) //累加成功后,等待信号量唤醒自己
  14. return
  15. }
  16. }
  17. }

这里用到了CAS算法保证有多个goroutine同时执行Wait()时也能正确累加waiter。

2.3.3 Done()

Done()只做一件事,即把counter减1,我们知道Add()可以接受负值,所以Done实际上只是调用了Add(-1)。

源码如下:

  1. func (wg *WaitGroup) Done() {
  2. wg.Add(-1)
  3. }

Done()的执行逻辑就转到了Add(),实际上也正是最后一个完成的goroutine把等待者唤醒的。

2.4 总结

简单说来,WaitGroup通常用于等待一组“工作协程”结束的场景,其内部维护两个计数器,这里把它们称为“工作协程”计数器和“坐等协程”计数器,
WaitGroup对外提供的三个方法分工非常明确:

  • Add(delta int)方法用于增加“工作协程”计数,通常在启动新的“工作协程”之前调用;
  • Done()方法用于减少“工作协程”计数,每次调用递减1,通常在“工作协程”内部且在临近返回之前调用;
  • Wait()方法用于增加“坐等协程”计数,通常在所有”工作协

Done()方法除了负责递减“工作协程”计数以外,还会在“工作协程”计数变为0时检查“坐等协程”计数器并把“坐等协程”唤醒。

需要注意

  • Done()方法递减“工作协程”计数后,如果“工作协程”计数变成负数时,将会触发panic,这就要求Add()方法调用要早于Done()方法。
  • 也就是说代码中,如果调用Done的次数多于Add的次数会产生painc
  • 当“工作协程”计数多于实际需要等待的“工作协程”数量时,“坐等协程”可能会永远无法被唤醒而产生列锁,此时,Go运行时检测到死锁会触发panic
  • Add的添加的工作协程的数量,多于Done调用的次数,则会出现panic
  • 当“工作协程”计数小于实际需要等待的“工作协程”数量时,Done()会在“工作协程”计数变为负数时触发panic。
  • Add()添加的工作协程个数小于Done调用的次数,会出现panic


3. 总结

WaitGroup控制子协程的方式很简单,且目的很明确,等待一组子协程执行完毕再执行主线程,但是当子协程里面有子协程,子协程里面有其他的子协程时,这种并不知道有多少个子协程的情况下使用WaitGroup就很难,所以就需要****Context**上场了

到此这篇关于Go并发控制--WaitGroup篇的文章就介绍到这了,更多相关Go并发控制WaitGroup内容请搜索w3xue以前的文章或继续浏览下面的相关文章希望大家以后多多支持w3xue!

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号