Kubernetes DiskPressure 磁盘压力

Kubernets Diskpressure

Posted by BlueFat on Wednesday, November 18, 2020

[Kubernetes 文官方档-节点压力驱逐]https://kubernetes.io/zh/docs/concepts/scheduling-eviction/node-pressure-eviction/

一、问题描述

在日常操作维护 Kubernetes 过程中我们会经常遇到很多问题,其中经常收到的告警信息就是节点磁盘压力,即 DiskPressure 警告。当出现该警告不久后 Pod 会被驱逐,甚至节点机器的 Docker 镜像也被清理。在生产中这些情况是不能忍受的,我们探究一下是什么原因导致的这些,以及如何提前预防并解决相关问题。

二、问题分析

首先提出几个问题,然后分别查找相关资料,对具体的疑问一一查找答案。只有了解这些问题如何产生,才能找到具体解决办法。

提出的问题如下:

① Kubernetes 依靠什么组件对节点磁盘进行监控

根据 Kubernetes 官方文档描述,在 Kubernetes 集群中,节点磁盘使用量的监控是交给 Kubelet 组件完成的,它会对节点资源使用情况进行分析,等达到一定条件后会执行发出内存、磁盘、pid 资源压力警告。

② Kubelet 监控节点的哪些文件系统

在 Kubernetes 节点组件 Kubelet 目前只支持监控两种文件系统分区,分别为:

  • nodefs: kubelet 相关的文件系统,里面存储了 Pod 挂载的卷、守护程序日志等。
  • imagefs: 容器文件系统,里面存储了容器运行时用于保存镜像和容器可写层。

Kubelet 监控文件系统是通过 Google 的 cAdvisor 组件完成的,该组件专用于监控容器运行环境,当监控到上面列出的文件系统达到一定量后将会发出 DiskPressure 告警,等达到指定阈值,将会对容器及无用镜像相关资源进行清理。

③ Kubelet 根据什么指标对 Pod 执行驱逐的

这个信息在 Kubernetes 官方文档中,Kubelet 会根据以下指标判断是否对 Pod 驱逐进行驱逐:

  • nodefs.available: kubelet 相关的文件系统剩余可用存储空间比例。
  • nodefs.inodesFree: kubelet 相关文件节点表 inodes 剩余可用存储空间比例。
  • imagefs.available: 容器运行时文件系统可用存储空间比例。
  • imagefs.inodesFree: 容器运行时 inodes 剩余可用存储空间比例。

④ Kubelet 根据指标达到什么条件才会执行 Pod 驱逐

经过 Kubernetes 文档的介绍,Kubelet 会对下面指标进行判断,当到达设置的条件后,会执行强制驱逐 Pod:

  • memory.available<100Mi: 当内存下降到 100Mi 时 kubelet 开始驱逐 Pod。
  • nodefs.available<10%: 当 kubelet 相关存储可用的存储不足 10% 时开始驱逐 Pod 及其容器来释放磁盘空间。
  • imagefs.available<15%: 当容器运行时文件系统可用存储空间不足 15% 时开始驱逐 Pod,并且删除没有被使用的镜像来释放空间。
  • nodefs.inodesFree<5%: (仅 Linux 系统): 当容器运行时 inodes 可用存储空间不足 5% 时开始驱逐 Pod 及其容器来释放磁盘空间。

⑤ Kubernetes 触发 DiskPressure 告警时造成的影响

当触发 DiskPressure 告警时,会产生如下影响:

  • 驱逐 Pod
  • 删除未使用的容器
  • 阻止新创建的 Pod 调度到该节点中

⑥ 什么原因导致经常出现 DiskPressure 警告

推测经常出现这个警告的原因可能是:

  • 默认情况下 docker 会将自己的持久化文件存储到 /var/lib/docker 目录下,这个目录占用空间比较大,导致 /var 目录挂载的磁盘容易被占满。
  • 默认情况下 kubelet 会将自身的 Pod 运行时相关数据存储在 /var/lib/kubelet 目录下,这个目录空间比较大,导致 /var 目录挂载的磁盘容易被沾满。
  • 默认情况下 Docker、Kubernetes 和系统等相关日志默认都会存储到 /var/log 目录下,日志相关文件占用空间非常大,导致 /var 目录挂载的磁盘容易被沾满。

上面三个默认配置,一个是 kubelet,一个是 docker 的,还有就是相关日志配置的,并且发现 var 目录一般分配的空间不是很大,所以 /var 目录挂载的磁盘空间非常容易被日志文件占满。

除此之外,还有一种可能,那就是当发生 DiskPressure 告警时,此时磁盘其实可用存储空间还很充足,例如 1TB 存储空间,使用率 80% 提示 DiskPressure 告警,这时候其实还有 200GB 可用存储空间。所以,这个磁盘告警比例需要根据节点磁盘的真实情况进行调整。

三、解决问题

注意: 下面的操作最好在集群搭建初期修改,如果已经在生产环境运行,修改请谨慎!

更改 Docker 存储目录

既然 Docker 目录默认在 /var/lib/docker 目录下,且这个目录所挂载的磁盘容易被占满,所以我们修改 Docker 配置,将存储的数据单独存放到挂载其它大磁盘的目录中。

设置 Docker 数据存储目录

打开 Docker 配置文件

cat /etc/[root@haproxy ~]# cat /etc/docker/daemon.json 
{
  "data-root": "/data/docker",
  "registry-mirrors": ["https://hub-mirror.c.163.com"],
  "insecure-registries": []
}
systemctl daemon-reload
systemctl restart docker

更改 kubelet 存储目录与告警阈值

既然 Kubelet 目录默认在 /var/lib/kubelet 目录下,且这个目录所挂载的磁盘容易被占满,所以我们修改 Kubelet 配置,将存储的数据单独存放到挂载其它大磁盘的目录中。并且根据磁盘真实大小,调整 Kubelet 触发 DisPress 告警的比例。

查看 kubelet 状态,根据显示的信息定位 kubelet 存储配置文件的位置

cat /etc/systemd/system/kubelet.service  | grep EnvironmentFile
EnvironmentFile=-/etc/kubernetes/kubelet.env

编辑 /etc/sysconfig/kubelet 配置文件

然后在 KUBELET_EXTRA_ARGS= 后面添加参数 -root-dir=<新的kubelet存储目录>:

$ vi /etc/sysconfig/kubelet

KUBELET_ARGS="--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf \
--config=/etc/kubernetes/kubelet-config.yaml \
--kubeconfig=/etc/kubernetes/kubelet.conf \
--container-runtime=remote \
--container-runtime-endpoint=unix:////var/run/containerd/containerd.sock \
--runtime-cgroups=/systemd/system.slice \
--eviction-hard=nodefs.available<5% \
--eviction-hard=imagefs.available<5% \
--root-dir=/data/kubelet 
  "
  • –root-dir=/apps/data/kubelet: 设置 kubelet 数据存储在 /apps/data/kubelet 目录下。
  • –eviction-hard=nodefs.available<5%: 设置当 kubelet 相关存储可用的存储不足 5% 时开始驱逐 Pod。
  • –eviction-hard=imagefs.available<5%: 当容器运行时文件系统可用存储空间不足 5% 时开始驱逐 Pod。

上面的大小限制也可以改成具体的数值,例如 --eviction-hard=imagefs.available<10Gi,则表示容器运行时存储小于 10Gi 时进行驱逐。

重启 daemon-reload 和 kubelet

systemctl daemon-reload
systemctl restart kubelet

解决 Kubernetes 中节点经常性 DiskPressure(磁盘压力) 的问题