更新时间:2024-03-26
• 正常现象
脱敏任务执行成功,脱敏效果达到预期,任务状态显示为已完成。
• 故障描述
脱敏任务执行失败,脱敏效果未达到预期,任务状态显示为执行错误。
• 故障处理
- 若源表不在默认表空间,目标库表空间和表空间文件未建立,造成脱敏失败。
具体操作:在目标数据库上建立源表空间同名的表空间。
- 检查脱敏任务配置是否不规范,造成脱敏失败。
具体操作:
- 在左侧导航栏,单击敏感数据脱敏 > 静态脱敏任务。
- 在静态脱敏任务列表页面,选择目标任务,单击编辑。
- 在编辑脱敏任务的对话框中,检查配置信息是否不符合逻辑。
- 修改配置参数符合实际逻辑后,再次执行脱敏任务。
- 检查java内存配置不够,造成脱敏失败。
具体操作:
- 修改文件/home/sdm/work_sdm/admin/bin/hdmtask.sh中Xmx4096M 的值,建议修改内存为物理内存的一半。
- 修改后需要执行reboot重新启动设备。
- 敏感数据未发现敏感字段,造成脱敏失败。
具体操作:
- 在左侧导航栏,单击敏感数据发现 > 敏感数据扫描。
- 在敏感数据扫描列表页面,选择目标任务,单击查看。
- 在敏感数据扫描详情列表页面,单击脱敏任务失败所属表的编辑按钮。
- 查看并编辑发现结果。
发现结果
- 数据脱敏系统所在设备资源使用率过高,造成脱敏失败。
具体操作:
- 使用df -h查看设备磁盘状态。
查看设备硬盘
- 使用top查看CPU和内存状态。
查看CPU、内存运行情况
- 调整资源使用率,再次执行脱敏任务。
说明: 若有脱敏任务正在执行,需要等待脱敏任务执行完成后,再次尝试连接数据库并保存配置。
- 脱敏任务参数配置不合理,造成脱敏失败。
具体操作:
- 在左侧导航栏,单击敏感数据脱敏 > 静态脱敏任务。
- 在静态脱敏任务列表页面,选择目标任务,单击编辑。
- 在编辑脱敏任务的对话框中,调整读写多线程、每批处理数据量,子任务并发量,表并发大小为合适值。
例如:调大读写多线程为2,每批处理数据量为5000,若效率没有提升,在可调整范围内,调大读写多线程为3,以达到最佳脱敏效果,对表列数过多的情况下(表列数超过20列),每批处理数据量不大于2000;子任务并发数为2(子任务并发默认为1),那么两个子任务会同时进行脱敏。您需要根据脱敏设备的硬件配置以及数据库侧的处理能力来调节,过大会降低。
脱敏任务配置参数
- Hive敏感数据发现任务的结果未显示行数。
具体操作:
- 在发现结果的对话框中,查看Hive的敏感发现结果。
- 若结果中出现行数未显示的情况,需要更改Hive数据库hadoop的配置文件yarn-site.xml。
添加下列配置信息并重启Hive数据库使配置生效。
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
<description>default value is 1024</description>
</property>
如果检查以上步骤后,仍然显示未脱敏,请查看Web日志信息,收集查看报错信息。然后联系代理商或当地技术工程师处理。