职业经历走得太窄了,最近才见识到 disk IO 密集的恐怖,和网络 IO 密集完全不是一个级别的影响,我愿称之为软件工程界的重工业😭

比如你一个进程写文件,write latency 高了,触发了 WBT (write back throttle),内核把进程投入 D 状态等待,很河狸吧,大家从小都听说磁盘 IO 容易 D。

但是,众所周知 write(2) 正常写文件都是先写到 page cache 再由内核 write back kworker 按照 vm.dirty_background_bytes 之类的配置异步刷入,所以实际上 D 状态的是 kworker。

前列腺高潮来了,K8s pod 删除时最后一步 containerd-shim umount(2) 会 sync_filesystem 把文件系统的脏页刷入,并且会同步等待刷入完成。但是刷脏页的 kworker 已经 D 了且队列里还有源源不断的 write back,这个同步等待是永远不会完成了,containerd-shim 也进入永恒的 D。

链式反应开始!首先 containerd 周期性给容器检活给 containerd-shim 发请求,但 shim D 了不回复,卡死 containerd 主循环,导致 kubelet 给 containerd 发探活请求 (PLEG) 超时,判定节点不健康,驱逐所有容器。

还没完,containerd-shim 进入 D 之前还持有了一把全局互斥锁 wb_switch_rwsem,这把互斥锁锁死了 inode_switch_wbs 这个 kworker,这下好了,比如 curl 好端端的网络程序,就因为往地上吐了一口口水 就因为动态链接要 stat(2) 一下 so,就直接卡死在 flush_workqueue(inode_switch_wbs) 进入 D。curl 都 D 了,那自然你是登不上机器的,你难道以为 sshd 不会 D?嘻嘻,自杀吧。

我只能说大开眼界。伟大航路真开心。发一张裸图庆祝一下。
 
 
Back to Top