K8s集群Containerd僵尸进程排查清理实操技术栈Kubernetes v1.32.13 Rocky Linux 8.6 Containerd 1.7.x runc 1.1.x CNI Plugins v1.4.x操作环境 / 对接原理 / 详细步骤 / 完整命令 / 配置文件 / 验证流程 / 排错方案K8s集群Containerd僵尸进程排查清理实操操作环境K8s 集群 3 节点Containerd 运行中出现异常操作系统 Rocky Linux 8.6具备 root 权限和日志访问权限需排查并修复 Containerd 相关故障对接原理Containerd 磁盘占用主要来自镜像层content 目录、容器快照snapshotter 目录、已停止容器可写层、未使用镜像和构建缓存。定期核查磁盘占用清理无用镜像、已停止容器、构建缓存可释放大量空间。可通过 ctr/crictl 工具清理或配置镜像 GC 策略image_gc_high_threshold自动回收。详细步骤1. 环境检查与准备# 检查当前环境 hostname cat /etc/redhat-release uname -r # 检查 Containerd 状态 systemctl status containerd --no-pager | head -10 containerd --version 2/dev/null || echo Containerd 未安装 # 检查网络和磁盘 ip addr show | grep -E inet df -h /var/lib/containerd/ 2/dev/null || df -h /2. 配置修改与执行# 备份原有配置 cp -a /etc/containerd /etc/containerd.bak.$(date %Y%m%d) 2/dev/null # 生成/修改配置 mkdir -p /etc/containerd containerd config default /etc/containerd/config.toml 2/dev/null # 关键配置调整 sed -i s/SystemdCgroup false/SystemdCgroup true/ /etc/containerd/config.toml grep -E SystemdCgroup|root |state /etc/containerd/config.toml # 重启服务生效 systemctl daemon-reload systemctl restart containerd sleep 3 systemctl is-active containerd3. 功能验证与测试# 验证服务状态 systemctl status containerd --no-pager | head -8 # 验证 CRI 接口 crictl info 2/dev/null | grep -E status|containerdVersion || echo crictl 未配置 # 验证版本 containerd --version runc --version 2/dev/null | head -1 # 测试镜像拉取 crictl pull busybox:latest 2/dev/null crictl images | grep busybox || echo 镜像拉取测试跳过验证流程# 1. 服务状态验证 systemctl is-active containerd systemctl is-enabled containerd # 预期active / enabled # 2. 版本验证 containerd --version # 预期v1.7.x # 3. CRI 接口验证 crictl info | grep status # 预期READY # 4. 配置验证 grep SystemdCgroup /etc/containerd/config.toml # 预期true # 5. 功能验证 crictl pull busybox:latest crictl images | grep busybox # 预期镜像拉取成功排错方案配置语法错误执行 containerd config dump 校验查看 journalctl -u containerd -n 50 定位错误行服务启动失败检查 /run/containerd/containerd.sock 是否存在确认数据目录权限查看系统日志CRI 接口异常检查 crictl.yaml 配置确认 runtime-endpoint 路径正确执行 crictl info 验证资源不足查看 dmesg | grep -i oom检查内存和磁盘空间适当增加资源或调整限制网络不通检查 br_netfilter 模块是否加载确认 iptables 规则验证 IP 转发是否开启 K8s集群Containerd僵尸进程排查清理实操
K8s集群Containerd僵尸进程排查清理实操技术栈Kubernetes v1.32.13 Rocky Linux 8.6 Containerd 1.7.x runc 1.1.x CNI Plugins v1.4.x操作环境 / 对接原理 / 详细步骤 / 完整命令 / 配置文件 / 验证流程 / 排错方案K8s集群Containerd僵尸进程排查清理实操操作环境K8s 集群 3 节点Containerd 运行中出现异常操作系统 Rocky Linux 8.6具备 root 权限和日志访问权限需排查并修复 Containerd 相关故障对接原理Containerd 磁盘占用主要来自镜像层content 目录、容器快照snapshotter 目录、已停止容器可写层、未使用镜像和构建缓存。定期核查磁盘占用清理无用镜像、已停止容器、构建缓存可释放大量空间。可通过 ctr/crictl 工具清理或配置镜像 GC 策略image_gc_high_threshold自动回收。详细步骤1. 环境检查与准备# 检查当前环境 hostname cat /etc/redhat-release uname -r # 检查 Containerd 状态 systemctl status containerd --no-pager | head -10 containerd --version 2/dev/null || echo Containerd 未安装 # 检查网络和磁盘 ip addr show | grep -E inet df -h /var/lib/containerd/ 2/dev/null || df -h /2. 配置修改与执行# 备份原有配置 cp -a /etc/containerd /etc/containerd.bak.$(date %Y%m%d) 2/dev/null # 生成/修改配置 mkdir -p /etc/containerd containerd config default /etc/containerd/config.toml 2/dev/null # 关键配置调整 sed -i s/SystemdCgroup false/SystemdCgroup true/ /etc/containerd/config.toml grep -E SystemdCgroup|root |state /etc/containerd/config.toml # 重启服务生效 systemctl daemon-reload systemctl restart containerd sleep 3 systemctl is-active containerd3. 功能验证与测试# 验证服务状态 systemctl status containerd --no-pager | head -8 # 验证 CRI 接口 crictl info 2/dev/null | grep -E status|containerdVersion || echo crictl 未配置 # 验证版本 containerd --version runc --version 2/dev/null | head -1 # 测试镜像拉取 crictl pull busybox:latest 2/dev/null crictl images | grep busybox || echo 镜像拉取测试跳过验证流程# 1. 服务状态验证 systemctl is-active containerd systemctl is-enabled containerd # 预期active / enabled # 2. 版本验证 containerd --version # 预期v1.7.x # 3. CRI 接口验证 crictl info | grep status # 预期READY # 4. 配置验证 grep SystemdCgroup /etc/containerd/config.toml # 预期true # 5. 功能验证 crictl pull busybox:latest crictl images | grep busybox # 预期镜像拉取成功排错方案配置语法错误执行 containerd config dump 校验查看 journalctl -u containerd -n 50 定位错误行服务启动失败检查 /run/containerd/containerd.sock 是否存在确认数据目录权限查看系统日志CRI 接口异常检查 crictl.yaml 配置确认 runtime-endpoint 路径正确执行 crictl info 验证资源不足查看 dmesg | grep -i oom检查内存和磁盘空间适当增加资源或调整限制网络不通检查 br_netfilter 模块是否加载确认 iptables 规则验证 IP 转发是否开启