测试数据管理解决方案
首页 > 测试数据管理解决方案


需求痛点



(1)在数据合规使用场景中,如何解决数据确权问题?

使用个人隐私数据的前提是需要将数据资产化,当数据成为了资产,才能根据数据的安全级别进行授权处理,且需要满足合规要求。生产环境和开发测试环境一般属于不同安全区域,敏感数据在不同安全级别区域间流动时,需要进行处理,特别是个人信息,必须处理成无法识别特定自然人且不能复原,才能合规地使用。


(2)在实际测试环境中,数据脱敏如何满足复杂业务关联关系?

对于跨系统、跨库、跨表等业务数据分散的场景,需要保证业务数据的关联性。涉及多表关联、规则校验、数据混合、子串关联等数据结构,数据脱敏后需要保证数据的业务特征、业务关联性、脱敏前后一致性、唯一性约束等。


(3)在测试数据交付过程,如何实现数据库备份恢复、敏感数据发现、数据脱敏和数据快速复制流程自动化?

实际项目中经常需要把生产数据快速提取到测试环境进行测试,在数据提取过程中需要进行数据库备份的恢复、敏感数据发现、数据脱敏、快速复制到多个测试环境等多个步骤,整个流程耗时较长,且需要专业人员支持,数据环境搭建效率较低。


(4)在生产和测试网段物理隔离下,如何将生产数据脱敏交付测试环境?

企业内网环境一般存在生产区、办公区和测试区,生产区和测试区之间物理隔离,脱敏数据无法从生产区直接导入测试区。


解决方案


按照现有的行业相关安全法规,对于测试数据的使用,需严格遵守相关行业的数据分类分级标准。在测试环境中使用的脱敏数据,也得按照企业在不同的数据等级中规定的脱敏算法进行处理。在提高测试数据环境搭建效率方面,我们支持数据提取流程的全自动化操作及支持用户自助式提取测试数据,实现测试数据的提取、脱敏自动化操作。


(1)在数据合规使用场景中,如何解决数据确权问题?

根据数据分类分级规范/指南/同行经验,对生产数据进行分类定级形成数据资产底账,并完成数据确权,在不同的应用场景中,根据资产底账中定义的安全等级采用授权、脱敏、加密等安全管控策略,使得敏感数据的使用能满足合规要求。目前我司的数据分类分级产品已经集成银行、证券、基金、交通、通信、能源等行业数据分类分级标准模板,可用于行业的快速复制,同时支持个性化定制需求。

Frame 312.png


(2)在实际测试环境中,数据脱敏如何满足复杂业务关联关系?

传统的数据脱敏方式包括数据替换、数据模糊、数据掩码等算法,传统的脱敏方式已经满足不了复杂的业务关联关系。我司结合企业内自身业务特点建立唯一仿真脱敏算法,保证数据跨表、跨库、跨业务系统的数据一致性。

唯一仿真脱敏算法保证脱敏后数据的仿真性、唯一性、数据关联性、业务关联性,可满足多表关联、规则校验、混合数据、字段依赖、关联计算、可逆还原。同时产品支持异构库脱敏、表结构同步、数据库对象同步,保证目标数据库数据的完整性。另,分布式集群部署模式,能满足企业客户海量数据脱敏效率和高可用需求。

Frame 313.png


(3)在测试数据交付过程,如何实现数据库备份恢复、敏感数据发现、数据脱敏和数据快速复制流程自动化?

传统的测试数据交付方式,需要平台部数据库管理员先手工把备份文件恢复到准生产环境,再手工标识出敏感字段并编写脚本进行数据脱敏,最后再将脱敏后的数据从准生产环境导出,再导入到dev/sit/uat等开发测试环境,整个过程需要DBA的参与,加重了DBA的工作负担,数据交付周期拉长,大量的人工参与存在一定的安全风险,且不满足合规和业务关联要求。

当前企业已经上线了专业的数据脱敏工具,尽管敏感数据识别和数据脱敏可以由工具自动化完成,数据库备份恢复、数据导入到多个测试环境的工作仍需要DBA手工处理。

结合以上遇到的问题,我司在现有脱敏系统和操作流程基础之上,根据企业的管理要求和流程操作要求,建设了一套测试数据自助管理平台,构建界面化操作,提供自助服务端,以支持数据提取流程的全自动化操作及支持用户自助式提取测试数据,解放DBA,项目人员可轻松提取测试数据,形成测试数据传输的安全链路,提高构建测试数据的效率。

Frame 314.png


(4)在生产和测试网段物理隔离下,如何将生产数据脱敏交付测试环境?

企业内网环境一般存在生产区、办公区和测试区,生产区和测试区之间物理隔离,脱敏数据无法从生产区脱敏后直接导入测试区。

传统的数据交付方式,需要指定专人负责,在准生产服务器挂载一块经认证的专用硬盘,将脱敏后的数据导出到硬盘,再由该负责人将硬盘挂载到测试服务器,将脱敏后的数据导入测试库。传统方式需要人工参与,操作流程上存在不合规的情况,数据导出可能存在泄密风险,给企业的信誉和财产造成严重的损失

结合以上遇到的问题,我司基于已建设的测试数据自助管理平台,从部署架构上考虑了生产到测试网段的数据流转。测试数据自助管理平台部署在办公区,用户可以方便地在办公区完成测试数据提取流程工作。分别在生产区和办公区各部署一个数据管理服务,实现生产和办公区的点到点安全传输,经脱敏后的数据可从生产同步到办公区,再经办公区分发到各个测试环境。此方案已经上线,数据提取流程和脱敏结果都满足合规要求。

Frame 315.png


方案收益


Frame 248.png

Frame 316.png

Frame 317.pngFrame 318.png