建议使用Chrome浏览器访问!
技术支持
互动社区
学习培训
深信服官网
合作伙伴

超融合HCI

关注
深信服超融合SANGFOR HCI是面向下一代数据中心的软件定义基础架构,通过虚拟化技术融合计算、存储、网络和安全等资源,并提供运维管理、容灾备份、智能监控等高级特性,帮助用户构建极简、稳定、高性能的云化数据中心基石。
故障案例库
典型场景排查思路

【aCloud】Oracle安装目录使用率超过90%的处理方法

更新时间:2018-06-27
  • 阅读权限:游客
  • 下载
  • 分享
  • 收藏
所属模块 场景部署 | 数据库部署
适用版本 通用
某日收到客户机房管理员发来的消息,告知某RAC数据库Oracle安装目录磁盘使用率90% 告警,客户未曾清理过Oracle数据库安装目录下的文件,贸然去清理可能导致误删除关键文件。随即去服务器检查,发现/oracle目录已使用90%。若不及时处理会导致数据库宕机。
Linux操作系统监控系统告警,磁盘使用率超过90%。
1、初步判断
个人首先怀疑是dump文件、告警日志文件、$ORACLE_HOME/dbs目录下的归档日志备份或者控制文件备份过多、过大造成的,然而去以上目录检查后推翻了我的判断。
2、深入判断
随即想到可能存在某个较大的文件或者目录占满了磁盘空间,因此采用find命令找出最大文件或文件夹。
  1. [root@wssdb11 oracle]# find /oracle -size +1G -type f

通过命令查找发现,/oracle/app/11.2.0/grid/crf/db/wssdb11/crfclust.bdb文件大小超过了1GB。于是发现原来是CHM(Cluster Health Monitor)服务未关导致crf文件无限增长导致磁盘空间占满,进入目录查看,发现crfclust.bdb文件大小已经到了22GB。
一、删除过大的crf文件,并且关闭ora.crf。
二、删除过大的crf文件,并且应用Patch 10165314进行修复。
本次采用方法一解决问题。
1、查看ora.crf 服务;
2、停止ora.crf服务;
3、删除过大的crf文件;
4、核查磁盘空间;
  1. [root@wssdb11 wssdb11]# su - grid -c "crsctl stat res ora.crf -init"   ----查看crf服务状态
  2. NAME=ora.crf
  3. TYPE=ora.crf.type
  4. TARGET=ONLINE
  5. STATE=ONLINE on wssdb11
  6. [root@wssdb11 wssdb11]#
  7. [root@wssdb11 wssdb11]# su - grid -c "crsctl stop res ora.crf -init"  ----停止crf服务
  8. CRS-2673: Attempting to stop 'ora.crf' on 'wssdb11'
  9. CRS-2677: Stop of 'ora.crf' on 'wssdb11' succeeded
  10. [root@wssdb11 wssdb11]#
  11. [root@wssdb11 wssdb11]#
  12. [root@wssdb11 wssdb11]# du -hs crf*.bdb    ----检查文件大小,并用rm命令删除文件
  13. 473M    crfalert.bdb
  14. 22G     crfclust.bdb
  15. 8.0K    crfconn.bdb
  16. 447M    crfcpu.bdb
  17. 447M    crfhosts.bdb
  18. 538M    crfloclts.bdb
  19. 349M    crfts.bdb
  20. [root@wssdb11 wssdb11]#
  21. [root@wssdb11 wssdb11]# su - grid -c "crsctl stat res ora.crf -init"   ---核实crf状态,确保其处于关闭状态

此次故障为Oracle Bug,如果能应用Patch 10165314 进行修复,是最佳解决方案,如果不能打补丁,请在该数据库的其他节点或者在客户公司其他的RAC环境上查看并解决同类问题。
本页目录
  • 问题描述
  • 告警信息
  • 处理过程
  • 根因
  • 解决方案
  • 建议与总结