kubelet启动失败_kubernetes StatefulSet pod启动失败原因分析

最新推荐文章于 2025-05-11 14:56:51 发布

weixin_39632057

最新推荐文章于 2025-05-11 14:56:51 发布

阅读量1.3k

点赞数

文章标签： kubelet启动失败

本文介绍了一种解决Kubernetes集群中zkPod启动失败的方法。故障表现为volume未找到导致pod挂载失败。通过检查pod状态、node节点及kublet信息定位问题。最终采用删除对应卷和pod的方式解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题背景：

kubernetes集群上kafka集群有一个节点失败，查看状态是zk的pod没有启动，解决kafka启动需要首先解决zk的pod启动失败的问题

zk pod启动报如下错误

Warning FailedMount 35s (x6 over 50s) kubelet, dev-worker04 MountVolume.WaitForAttach failed for volume "pvc-d544702451d911e9" : volumeattachments.storage.k8s.io"csic784162ad5075551f2cb597007d511f2cd5601e9502419cf64d6be2b7eaa47d3" is forbidden: User "system:node:dev-worker04" cannot get volumeattachments.storage.k8s.io at the cluster scope: no path found to object

1.问题的表象是volume没有找到，导致端挂载失败，pod无法启动

2.describe pod信息查看调度是正常的

Normal Scheduled 1m default-scheduler Successfully assigned common/kafkazk-1 to dev-worker04

3.查看对应的node节点，服务器状态没有异常情况

4.首先尝试了重启zk pod发现依然有类似的报错

5.查看pv和pvc没有发现错误信息

6.到对应的node节点查看kubelt的信息

systemctl status kubelet -l

查看到有错误信息

kubelet_volumes.go:140] Orphaned pod "d29f26dc-77bb-11e9-971b-0050568417a2" found, but volume paths are still present on disk : There were a total of 3 errors similar to this. Turn up verbosity to see them

就是说pod重启了，但是卷没有成功的卸载导致新启动的pod找不到卷挂载

7.由于是开发环境，暂时使用暴力方法处理，删除/var/lib/kubelet/pods下的对应pod "d29f26dc-77bb-11e9-971b-0050568417a2"

8.删除失败的pod，StatefulSet会重新拉起pod，观察1m左右，zk pod启动成功

9.同样的方法重启kafka pod

10.再次观察pod信息，都是running状态了，对应节点的kubelet也没有报错信息了

11.生产环境是不能使用如此粗暴的方式处理，不知道读者有什么好的建议