更新时间:2024-03-22
通过水印脱敏任务在数据中添加水印信息。当数据泄漏时,可以通过溯源水印信息,识别出数据是从哪个渠道泄漏的。
• 前提条件
在新建静态脱敏任务前,需要先创建好脱敏方案。关于脱敏方案相关说明,请参见数据脱敏方案。
• 背景信息
水印脱敏任务可以配置定时任务,支持多线程多并发的任务参数配置。
• 操作步骤
- 在左侧导航栏,选择数据水印 > 水印生成。
- 在水印生成列表页面,单击新建水印脱敏任务。
- 在新建水印脱敏任务对话框中,配置水印脱敏任务参数信息。
参数
|
说明
|
任务名称
|
设置水印脱敏任务名称。
|
数据源类型
|
选择需要水印的数据源类型。
数据源类型支持关系型数据库、大数据平台、数据仓库、FTP/SFTP和本地下载等。
|
脱敏方案
|
选择数据源类型对应的脱敏方案。
关于脱敏方案,详情参见数据脱敏方案。
|
目标源类型
|
选择水印脱敏后存储的目标源类型。目标源类型支持FTP、SFTP和本地下载等。
如果选择本地下载,
|
目标源
|
如果目标源类型选择FTP或者SFTP,在目标源下拉栏中选择目标源。
目标源需要在数据源管理页面创建,具体操作请参见添加数据源。
|
文件类型
|
如果目标源类型选择本地下载,需要选择您的文件类型。
|
文件编码
|
如果目标源类型选择本地下载,需要选择您的文件编码,设置的编码需要和文件中编码保持一致,不然会乱码。
文件编码包括UTF-8、GBK、GB2312。
|
抽取方式
|
选择您的抽取方式。
–全部抽取
–百分比抽取
–行数抽取
|
水印信息
|
设置水印中包含的信息,可以设置使用单位、使用人、使用用途、备注。
|
任务参数
|
配置静态脱敏任务的具体任务参数,参数说明请参见表 29: 任务参数。
|
参数
|
说明
|
插入数据前自动重建表/文件
|
勾选后目标库同名表删除后重新生成。
当目标库不存在与源表结构一致,表名一致的表时,一定要勾选插入数据前自动重建表/文件,否则就会因为目标库不存在表而导致插入数据失败,导致脱敏执行失败。
当目标库存在与源表结构一致,表名一致的表时,如果不勾选插入数据前自动重建表/文件和不勾选插入数据前清空目标数据,那么插入数据可能因为目标表的约束限制(主键冲突,唯一键冲突等)插入重复数据失败,若没有约束限制,那么就达到了追加数据功能。
注意: 当目标表存在约束限制(主键冲突,唯一键冲突等)时,必须勾选此选项。
|
插入数据前清空目标数据
|
勾选该项,目标数据被清除。
说明: 一般用于数据源的二次及以上的脱敏。若不勾选,则在之前的目标数据上追加数据。
当数据源和目标源是同一个数据库,且模式关联为同一个时,不能勾选此选项。
|
数据写入失败处理
|
对脱敏过程中因算法造成的数据异常进行处理。失败时会自动跳过(目前是默认必选的)。
|
定时任务
|
勾选并配置定时启动任务时间,定时任务配置后需要初始化任务。
|
每批处理数据量
|
设置后台每批次处理的数据量。
|
处理线程数
|
处理数据的线程数量,当敏感信息列数较多的时候,开启多个,能加快处理速度。一般不超过4个,并非越多越好。
|
写入线程数
|
勾选是否写入多线程。设置任务使用的最大线程数。最大线程数默认为8,可通过修改配置文件进行设置。配置的线程数不要大于CPU核心数的两倍。
默认写入多线程设置为1,线程数需要根据脱敏设备的硬件配置以及数据库侧的处理能力来设定。其下也可选择开启线程数智能调优。
当本地下载、FTP、SFTP、HDFS等为目标源类型时,不需要配置读写多线程。
|
子任务并发
|
选择子任务并发脱敏的数量。
对于主任务中有多个子任务时,可以调大子任务并发数(子任务并发默认为1)。并发数调为2时,会有2个子任务会同时进行脱敏。需要根据脱敏设备的硬件配置以及数据库侧的处理能力来设定。
|
表分片
|
选择表分片的数量。
对于数据量大的表会有优化处理作用,一般情况下并不用开启。
当选择Kingbase数据库为数据源时,表分片是默认必须开启的。
说明: 添加where条件、百分比、条数抽取的表不支持分片。
|
- 单击保存,新增成功一个水印脱敏任务。
新增后的水印脱敏任务自动处于已审批的状态。
• 操作结果
水印脱敏任务新建成功后,您可以在水印生成列表页面进行查看。
• 相关操作
后续您可以根据情况,在水印生成列表页面进行以下操作。
•取消审批水印脱敏任务:单击取消审批,取消审批水印脱敏任务。
注意: 取消水印脱敏任务的审批后,脱敏任务将无法执行。
•编辑水印脱敏任务:单击编辑,修改水印脱敏任务。
•删除水印脱敏任务:单击删除,删除不再需要执行的水印脱敏任务。
•查看水印脱敏任务详情:单击目标任务名称,查看水印脱敏任务详情。
•查看水印脱敏子任务详情:单击目标任务名称,在水印生成详情列表页面,单击目标子任务栏的查看按钮,查看子任务脱敏信息详情。
•编辑水印脱敏子任务方案:单击目标任务名称,在水印生成详情列表页面,单击目标子任务栏的编辑按钮,跳转到数据脱敏方案详情列表修改脱敏方案,更多信息请参见修改数据脱敏方案。
•启停水印脱敏子任务:单击目标任务名称,在水印生成详情列表页面,单击目标子任务栏的按钮,启动子任务