[译] Go语言的协程,系统线程以及CPU管理

题图

本文基于Go 1.13

创建系统线程以及在系统线程间切换,会对程序的内存和性能造成较大的开销。Go的目标是尽量利用CPU多核资源。设计之初就考虑了高并发性。

M,P,G 模型

为了达到这个目标,Go拥有一个将协程调度到系统线程执行的调度器。这个调度器定义了三个核心概念,在Go源码中是这样解释的:

G - goroutinue. 协程
M - worker thread, or machine. 工作线程
P - processor, 执行Go代码时所必须的一种资源。
M必须有一个相关联的P才能执行Go代码。

以下是 PMG 模型的示意图:

P,G,M模型

每个协程(G)在一个分配给逻辑processorP)的系统线程(M)上运行。来看一个小例子:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
func main() {
var wg sync.WaitGroup
wg.Add(2)

go func() {
println(`hello`)
wg.Done()
}()

go func() {
println(`world`)
wg.Done()
}()

wg.Wait()
}

首先,Go会根据当前机器的逻辑CPU个数来创建相应数量的P,并将它们存放在一张空闲P列表中:

P初始化

然后,新创建并等待被运行的协程会唤醒一个P来执行这个任务,这个P会创建一个和系统线程相关联的M

创建系统线程

P一样,如果一个M没有工作可做了,该M会被放入空闲M链表中:

M,P空闲列表

在程序启动时,Go会预先创建一些系统线程以及相关联的M。在上面的小例子中,第一个打印hello的协程会使用主协程,而第二个打印world的协程会从空闲列表中获取到一个M和一个P

从空闲列表获取M,P

以上,我们有了一张管理协程和系统线程的全局图,让我们进一步看看Go在什么情况下会使用更多的MP,以及调用系统调用时协程是如何被管理的。

系统调用

Go对系统调用做了优化,具体做法是在运行时对系统调用做了封装(不管系统调用是否会造成阻塞)。该部分封装代码会自动将P与线程M解除绑定,使得另一个线程M可以在这个P上运行。让我们来看一个读取文件的例子:

1
2
3
4
5
6
7
8
9
func main() {
buf := make([]byte, 0, 2)

fd, _ := os.Open("number.txt")
fd.Read(buf)
fd.Close()

println(string(buf)) // 42
}

以下是打开文件的流程:

syscall移交P

现在,P0被放入空闲列表中,可被使用。当系统调用结束之后,Go顺序执行如下流程直到其中一条规则被满足:

  • 试图获取同一个P,在我们上面的例子就是P0,如果获取到,则恢复执行
  • 试图在空闲列表中获取一个P,如果获取到,则恢复执行
  • 将协程放入全局队列中,将相关的M放入空闲列表中

并且,Go使用非阻塞I/O模式,对资源还没有就绪的情况也做了处理,比如说http请求。这种情况下首先也遵循上面所说的系统调用的流程,之后如果底层的系统调用由于资源没有就绪而返回失败时,Go会强制使用network poller,并且将该协程挂起。以下是例子:

1
2
3
func main() {
http.Get(`https://httpstat.us/200`)
}

当底层的系统调用返回并且显式表示资源没有就绪时,协程将被挂起,直到network poller通知它资源已经就绪。这种情况下,线程M不会被阻塞:

Network poller等待资源就绪

Go调度器重新调度时,之前的那个协程将被重新运行。调度器会询问network poller是否存在之前在等待资源并且现在资源已经就绪的协程:

nope

如果有多个协程就绪了,其它的协程会被放入全局等待执行队列中,稍后会被调度执行。

关于系统线程数的限制

当使用了系统调用时,Go并不限制这些可能被阻塞的系统线程的数量,以下是Go代码中的注释说明:

GOMAXPROCS变量限制的是用户层面Go代码的系统线程数量。对于可能造成阻塞的系统调用的线程数是不做限制的;它们不计算在GOMAXPROCS限制之中。

以下是一个例子:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
func main() {
var wg sync.WaitGroup

for i := 0;i < 100 ;i++ {
wg.Add(1)

go func() {
http.Get(`https://httpstat.us/200?sleep=10000`)

wg.Done()
}()
}

wg.Wait()
}

以下是使用tracing工具,查看程序创建的线程数量:

nope

值得一提,由于Go可以复用系统线程,所以工具查看到的线程数要小于例子中for循环的次数。

英文原文地址:Go: Goroutine, OS Thread and CPU Management

本文完,作者yoko,尊重劳动人民成果,转载请注明原文出处: https://pengrl.com/p/29953/

0%