建议使用Chrome浏览器访问!
技术支持
互动社区
学习培训
深信服官网
合作伙伴

超融合HCI

关注
深信服超融合SANGFOR HCI是面向下一代数据中心的软件定义基础架构,通过虚拟化技术融合计算、存储、网络和安全等资源,并提供运维管理、容灾备份、智能监控等高级特性,帮助用户构建极简、稳定、高性能的云化数据中心基石。
故障案例库
典型场景排查思路

备份期间虚拟机卡死无响应,业务中断

更新时间:2024-12-31
  • 阅读权限:游客
  • 下载
  • 分享
  • 收藏
所属模块 备份快照虚拟机内部
适用版本 通用
备份期间虚拟机卡死无响应,业务中断

1、查看虚拟机无响应时间点的日志,即查看/sf/log/date/sfvt_qemu_vmid.log日志,看是否存在和以下日志类似的日志。

2、若存在则在问题时间点的日志搜索target free Done,若不存在这个日志则确认是备份退出过程卡死进而导致qemu卡死的问题,上图的blk_unref target到target free Done这段时间qemu是一直卡死的,若target free Done不存在这个日志则qemu一直卡死。

 

KVM nbd-client存在重连机制,当发现nbd-client到nbd-server的连接中断时会触发重连,重连之前会先对nbd_bs->in_flight加1,随后再重连,重连包含两个过程:首先是建立TCP连接,这个建立连接的过程是nbd-server端内核自动完成即使nbd-server卡死也能连接成功,第二个是协商握手流程,这个过程需要nbd-client和nbd-server共同干预,因此若nbd-server端卡死并且伴随连接出现异常触发nbd-client重连,重连时建立tcp连接成功,但是协商握手的时候nbd-client由于nbd-server卡死一直收不到数据,导致一直卡死在收数据,因此nbd_bs->in_flight会一直加1。
备份退出流程是发生在qemu主线程上下文而非协程上下文,备份退出的时候最后会等待nbd_bs->in_flight变为0,由于nbd-client一直卡死在收数据没有将加1的nbd_bs->in_flight释放掉,因此备份退出时等待nbd_bs->in_flight变为0这个过程也会一直卡死,进而导致kvm主线程一直卡死导致虚拟机一直卡死。

6.11.1已解决

后台执行sfd_cluster_cmd.sh e 'ps auxf | grep vmid | grep qemu-nbd',kill -9 nbd_pid杀死该虚拟机对应的qemu-nbd进程。

若杀不死qemu-nbd则直接杀掉KVM进程

虚拟机业务,备份失败

 

本页目录
  • 问题描述
  • 有效排查步骤
  • 根因
  • 解决方案
  • 操作影响范围
  • 是否是临时解决方案
您当前处于未登录状态,资料搜索或查找可能会不全面,请登录后以查找更全面的内容注册登录