数据库静态脱敏系统SDM

深信服静态数据脱敏系统是一款面向敏感数据进行数据自动发现、数据脱敏的专业的数据安全脱敏产品,采用专门的脱敏算法对敏感数据进行变形、屏蔽、替换、随机化、仿真实现敏感数据的匿名化和去标识化,同时脱敏后的数据可以保留原有数据的特征和分布,无需改变相应的业务系统逻辑,实现了企业低成本、高效率、安全的使用生产的隐私数据。
点击可切换产品版本
知道了
不再提醒
v3.0
数据库静态脱敏系统SDM 文档 产品手册 故障处理 脱敏任务执行失败故障处理
{{sendMatomoQuery("数据库静态脱敏系统SDM","脱敏任务执行失败故障处理")}}

脱敏任务执行失败故障处理

更新时间:2024-03-26

  正常现象 

脱敏任务执行成功,脱敏效果达到预期,任务状态显示为已完成

    故障描述 

脱敏任务执行失败,脱敏效果未达到预期,任务状态显示为执行错误

    故障处理 

  1. 若源表不在默认表空间,目标库表空间和表空间文件未建立,造成脱敏失败。

具体操作:在目标数据库上建立源表空间同名的表空间。

  1. 检查脱敏任务配置是否不规范,造成脱敏失败。

具体操作:

  1. 在左侧导航栏,单击敏感数据脱敏 > 静态脱敏任务。
  2. 在静态脱敏任务列表页面,选择目标任务,单击编辑。
  3. 在编辑脱敏任务的对话框中,检查配置信息是否不符合逻辑。
  4. 修改配置参数符合实际逻辑后,再次执行脱敏任务。
  1. 检查java内存配置不够,造成脱敏失败。

具体操作:

  1. 修改文件/home/sdm/work_sdm/admin/bin/hdmtask.shXmx4096M 的值,建议修改内存为物理内存的一半。
  2. 修改后需要执行reboot重新启动设备。
  1. 敏感数据未发现敏感字段,造成脱敏失败。

具体操作:

  1. 在左侧导航栏,单击敏感数据发现 > 敏感数据扫描。
  2. 在敏感数据扫描列表页面,选择目标任务,单击查看。
  3. 在敏感数据扫描详情列表页面,单击脱敏任务失败所属表的编辑按钮。
  4. 查看并编辑发现结果。

图 20. 发现结果

发现结果

  1. 数据脱敏系统所在设备资源使用率过高,造成脱敏失败。

具体操作:

  1. 使用df -h查看设备磁盘状态。

图 21. 查看设备硬盘

查看设备硬盘

  1. 使用top查看CPU和内存状态。

图 22. 查看CPU、内存运行情况

查看CPU、内存运行情况

  1. 调整资源使用率,再次执行脱敏任务。

说明: 若有脱敏任务正在执行,需要等待脱敏任务执行完成后,再次尝试连接数据库并保存配置。

  1.  脱敏任务参数配置不合理,造成脱敏失败。

具体操作:

  1. 在左侧导航栏,单击敏感数据脱敏 > 静态脱敏任务。
  2. 在静态脱敏任务列表页面,选择目标任务,单击编辑。
  3. 在编辑脱敏任务的对话框中,调整读写多线程、每批处理数据量,子任务并发量,表并发大小为合适值。

例如:调大读写多线程为2,每批处理数据量为5000,若效率没有提升,在可调整范围内,调大读写多线程为3,以达到最佳脱敏效果,对表列数过多的情况下(表列数超过20),每批处理数据量不大于2000;子任务并发数为2(子任务并发默认为1),那么两个子任务会同时进行脱敏。您需要根据脱敏设备的硬件配置以及数据库侧的处理能力来调节,过大会降低。

图 23. 脱敏任务配置参数

脱敏任务配置参数

  1. Hive敏感数据发现任务的结果未显示行数。

具体操作:

  1. 在发现结果的对话框中,查看Hive的敏感发现结果。
  2. 若结果中出现行数未显示的情况,需要更改Hive数据库hadoop的配置文件yarn-site.xml

添加下列配置信息并重启Hive数据库使配置生效。

<property>

<name>yarn.scheduler.minimum-allocation-mb</name>

<value>2048</value>

<description>default value is 1024</description>

</property>

 如果检查以上步骤后,仍然显示未脱敏,请查看Web日志信息,收集查看报错信息。然后联系代理商或当地技术工程师处理。