数据管理系统技术解决方案-5

《数据管理系统技术解决方案-5》由会员分享，可在线阅读，更多相关《数据管理系统技术解决方案-5（68页珍藏版）》请在装配图网上搜索。

1、单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,‹#›,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,,,‹#›,数据脱敏管理系统（,NTDM,）,,技术解决方案,,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施,案例,产品优势总结,,,公司简介,[,公司名称,],,上海新致,软件有限公司,,[,成立时间,],,1994,年,6,月,4,日,。,2,0,年,稳定经营,,[,总 资 产,],,1.7,亿,,[,公司规模,],,3,000,人。金融行业技术员工,1400,多人,,[,公司架构,],上海

2、总部、北京、大连、西安、美国、日本分公司,,[,销售收入,],,2011,年软件总销售收入,3.0,亿元,,[,公司愿景,],,成为最受员工、客户、股东和社会所推崇的“,百年企业,”,,[,公司使命,],,为人们的工作和生活带来积极的改进,,,3,发展历程,,美国,,巴黎,北京,,苏州,,,,新致软件成立,进入金融行业领域,开始开拓日本软件外包市场,通过,ISO9001,（,2000,版）认证,投入政府市场领域,成立关西,Newtouch,首次被认定为 “国家规划布局内重点软件企业”,全公司通过,CMM3,大连新致软件成立,,,全公司通过,CMM4,东京,Newtouch,成立西安新致软件成立

3、,美国,N,ewtouch,成立,,,启动,NEC,通信系统新致开发中心,NNC,1994,年,6,月,1996,1998,2000,2001,2002,2003,2004,2005,2006,200,8,全公司通过,CMMI5,、,ISO27001,杭州、巴黎办事处成立,20,10,服务中国,2010,年上海世博会运营指挥,建成,TIS & Newtouch,开发中心,TNODC,,,,,,1800,人,1000,人,500,人,100,人,50,人,2007,被认定为“中国软件出口工程企业”首次评为“上海名牌服务”,2009,成立北京、苏州新致,评为“上海名牌”,4,20,11,2800

4、,人,20,12,主要资质和荣誉,,5,金融行业长期服务客户,6,金融行业长期服务客户,7,三井住友海上火灾保险,(,中国,),有限公司,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施,案例,产品优势总结,,,数据使用现状分析,企业外测试人员,企业数据,数据测试,业务分析,数据共享,,,,企业内操作人员,企业外公司,数据管理的困惑,上次将什么样的数据给了谁了？,交换出去的数据包含哪些敏感信息？,交换出去的数据脱敏级别是多高,数据去向无法管控,外泄数据范围无法管控,数据敏感范围无法管控,数据脱敏级别无法管控,数据管理的困惑,大数据时代，如何管理数据的安全？,数据安全监管要

5、求,监管要求,,针对银行信息泄露的问题，银监会发布的,《,中国银行业“十二五”信息科技发展规则监管指导意见（征求意见稿）,》,文件,，,要求“,商业银行在信息系统开发、测试和维护，以及服务外包过程中加强对客户信息的保护，防止敏感信息泄露,”,。,,为,保护客户权益，满足商业银行风险监管和内控监管的要求，需要对开发环境和测试环境中的数据建立统一的管理规范，对于必须使用生产数据的系统开发、测试、维护项目，生产数据必须经过脱密，才能被加载到开发、测试或维护,环境,。,数据管理需求理解,企业外测试人员,企业数据,数据测试,业务分析,数据共享,,,,企业内操作人员,企业外公司,1.,敏感数据必须脱敏，防

6、止敏感数据泄露,数据管理需,求理解,2.,数据脱敏是自动化执行而非人工的，避免存在因误,操作，无操作造成敏感数据泄漏风险,,,数据提取,,敏感数据脱敏,,敏感数据加载,,,数据管理需,求理解,3.,数据脱敏应该集中管理而非分散管理，,存在因数据监管遗漏造成的敏感数据泄漏风险,,,,,,,,,,,,,,,,,,,,,,,,,,生产库,A,生产库,B,生产库,。,。,,,,,,,,,,,,脱敏元数据库,生产库,A,生产库,B,生产库,。,。,数据管理需,求理解,4,.,数据脱敏过程应该是配置而非程序开发，快速响应各种数据脱敏需求。,,,,,,,,程序开发？,全程配置？,数据管理需,求理解,5,.,

7、脱敏后数据应该是可读的，脱敏后数据应该保持业务一致性、必须符合业务规范,上海新致软件股份有限公司,箜鞚縉屣馁鹜鬩闔嗰鎘,不可读,失去业务含义,不符合业务规范,北京罗雅财富管理公司,可读,保留业务含义,符合业务规范,数据管理需,求理解,6,.,根据不同的数据使用要求，应该提供不同等级的脱敏能力,上海新致软件股份有限公司,上海新致软件股份有限公司,上海＊＊＊＊＊＊有限公司,北京罗雅财富管理公司,供监管报送数据,供内部数据分析,供外部数据测试,数据管理需,求理解,6,.,数据脱敏过程应该是可监控，可审计的,数据管理需,求理解,7,.,数据脱敏能力可以横向扩展而非只能依靠单一服务器能力，以满足不断增长

8、的数据脱敏需求。,,企业数据,。。。,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施案例,产品优势总结,,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,,,,,,数据脱敏数据安全性,生产数据,,脱敏算法,密码本,随机密钥,脱敏数据,,,在技术上采用：密钥＋密码本＋脱敏算法组合脱敏技术,,在管理上采用：数据脱敏一次一密钥，密码本定期更新，,,通过技术手段和管理手段相结合，保证脱敏数据不可破解！,,,脱敏算法原理,密码本,脱敏密钥：,4,系统目前支持函数,数据脱敏管理角色分离,配置岗、执行岗、审

9、计岗权限分离,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,,,,,,身份证号码脱敏算法,,510219,19830415,691,8,100233,19860223,398,5,A,、,B,、,C,计算,A,B,C,,,,,,,,,密码本,+,加密密钥,加密密钥,随机数,身份证号码由四部分构成：,将四部分拆分后分别做脱敏，然后组合成新的身份证号码。,即保证的数据脱敏，又保证保证数据脱敏后的可读性！,区域密码本,,人名脱敏算法,,张,世,勤,王,青,明,,,,,,,密码本,+,加密密钥,密码本,+,加密密钥,密码本

10、,+,加密密钥,将人名按字拆分后分别做脱敏，然后组合成新的人名。,即保证的数据脱敏，又保证保证数据脱敏后的可读性！,人姓密码本,,人名密码本,企业名称脱敏算法,,上海,新致,软件,北京,尚阳,制造,,,,,,,密码本,+,加密密钥,密码本,+,加密密钥,密码本,+,加密密钥,企业名称由：区域、字号、行业、组织,,四部分组成。,脱敏算法首先将公司名称进行中文分词，,然后针对每个部分分别脱敏，最后将脱敏后数据组合成新的公司名称,即保证的数据脱敏，又保证保证数据脱敏后的可读性！,区域密码本,,字号密码本,行业密码本,公司,,,密码本,+,加密密钥,厂,组织密码本,产品解决方案,敏感数据安全性,脱敏数

11、据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,,,,,,通过六大步骤完成数据,脱敏,。,第一步：定义,业务,元数据；,第二步：定义,数据,脱敏,规则,；,第三步：定义,技术元数据,；,第四步：,配置数据脱敏流程,；,第五步,：,定义数据脱敏任务,；,第六步,：,执行数据脱敏任务,。,,其,中前,四,步,只需要一次性的配置操作,。,,平时,当有脱敏需求时，脱敏执行岗位人员只需要定义一个脱敏任务,，,然后,执行这个脱敏任务,。,两步操作就完成数据,脱敏,的自动运行。,脱敏管理配置化,第一步：业务元数据定义,,第二步：脱敏规则定义,可以为一个业务元数据定义

12、多个不同的脱敏规则,,,第三步：技术元数据定义,1.,新建数据系统定义,2,.,导入数据系统技术元数据,3,.,为字段设置对应业务元数据,,,,第四步：数据脱敏流程定义,第五步：脱敏任务定义,,,,1.,新建任务,2,.,分配流程,3,.,分配密钥,第六步：脱敏任务执行,任务启动，停止,,任务执行支持断点续传能力；,任务状态分级管理：处理中，已完成，警告，异常,,,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,,,,,,脱敏进度监控,监控任务总体进度,,监控每个表的脱敏进度,,脱敏环节监,控,监控每个节点的完成进度

13、,了解当前任务性能瓶颈,数据脱敏处理节点：,有,6,0,个数据表等待处理,正在处理,100,张数据表,处理完且没有被下一个节点处理的表数为,0,,脱敏异常监控,1.,异常数据以文件形式存放，,脱敏任务将继续运,行,。,2.,后期可以通过手动修改错误数据并将数据,重新处理并导入,目标数据库,。,3,.,解决数据丢失的风险，,保证数据,完整性。,,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,,,,,,脱敏过程自动化,在脱敏处理过程中，脱敏系统按照脱敏流程定义的前后顺序自动抽取数据、数据脱敏、数据加载等操作。,,整个脱

14、敏过程中无需人员干涉，完成自动化执行。,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,,,,,,数据脱敏集中管理,采用元数据管理架构,集中管理所有敏感规则,,集中管理所有表的敏感信息,产品解决方案,敏感数据安全性,脱敏数据可读性,脱敏管理配置化,脱敏过程可监控,脱敏过程自动化,脱敏管理集中化,脱敏性能可扩展,,,,,,并行计算架构实现性能扩展性,。。。。。,,,,,,,调度服务器,元数据服务器,脱敏应用服务器,,通过调度，,多个脱敏任务在不同应用服务器上并行执行,通过增加硬件服务器，提升数据处理性能。,,脱敏节点之

15、间多应用并行,并行计算架构实现性能的扩展性,脱敏节点内部多线程并发，,增加线程数可以增加单机脱敏性能,数据脱敏能力扩展,通过可视化数据处理流程定制，满足不同数据脱敏处理需求。,数据脱敏能力扩展,,,插拔式功能升级方式，提升数据处理流程拓展能力,数据脱敏系统支持的数据处理组件,组件类型,数据处理组件,,,,,数据准备,文件分页,表记录分页,分页合并,截断表名,截断列名,TD,处理,从,Tables,中读取,TD,表结构,根据元数据创建,TD,表,根据,ShowTable,生成,TD,建表语句,创建,FastLoad,临时表,,文件处理,文件读取,文件写入,删除文件,,,DB,处理,数据记录读取,

16、数据记录插入,删除表,删除记录,修改表名,,修改列名,根据建表语句创建表,批量删除表,多表数据归并复制,单表数据复制,脱敏处理,数据脱敏,读取文件脱敏入文件,读取文件脱敏入表,读取表脱敏入文件,读取表脱敏入表,数据传输,FTP,上传,FTP,下载,,,,命令执行,SSH,命令调用,Shell,脚本调用,FastExport,脚本调用,FastLoad,脚本调用,存储过程调用,检查校验,检查带库恢复状态,检查表是否存在,检查数据处理结果,分支判断,,脚本生成,生成,Fastload,脚本,生成,FastLoad End,脚本,生成,FastExport,脚本,生成,MultiLoad,脚本,生成

17、,SQLLRD,控制脚本,,生成,SQLLRD,运行脚本,,,,,缓存操作,更新缓存,获取缓存,清空缓存,,,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施,案例,产品优势总结,,,数据管理系统,架构,,用户界面,用户请求,WebController,层,（,Spring,MVC,）,业务逻辑层,Business,,Logic,,Object,WebView,层,数据集成层,DAO,（,Ibatis,／,JDBC,）,数据层（,Oracle/DB2/,Teradate,）,功能权限,服务路由,页面路由,格式化,界面权限,业务服务层,Business,,Services,

18、数据权限,服务,执行,数据脱敏处理,Html,Html,SQL,数据脱敏流程元数据库,,,,数据管理系统,架构,数据管理系统,应用架构,配置管理员,任务执行人,数据管理系统门户,,系统管理,,机构管理,,权限管理,,角色管理,,ECIF,ODS,CRM,ECIS,。。。,,,元数据管理,业务元数据,技术元数据,,流程管理,节点管理,流程管理,,脱敏规则管理,数据源管理,生产系统,审计管理员,,任务管理,任务定义,任务执行,任务监控,,脱敏规则引擎,规则解析,规则执行,,测试库,元数据库,ECIF,ODS,,安全审计,合规检查,密钥管理,,,,,,,,,功能架构,,,,,,,,,,,,,,,,,

19、,,元数据,管理,,,,,,,,,,,,,,,,,,,流程管理,,,,,,,,,,,,,,,,,,,安全审计,,,,,,,,,,,,,,,,,,,任务管理,,,,,,,,,,,,,,,,,,,系统管理,,,,,,,,,,,1,.,用户角色管理,2,.,资源权限管理,1.,任务定义,2.,任务执行,3,.,任务监控,1,.,业务元数据管理,2,.,技术元数据管理,3,.,脱敏规则管理,4,.,数据源管理,1,.,流程节点管理,2,.,数据流程管理,3,.,可视化流程定义,1,.,操作日志管理,2,.,数据合规检查,3,.,脱敏密钥管理,59,目录,公司简介介绍,数据安全需求,产品解决方案,产品技

20、术方案,产品实施案例,产品优势总结,,,光大实施方案介绍,,614,个数据库系统,每月脱敏数据,5T,每月数据调用,20T,,数据脱敏性能报告,性能指标,,,,,,线程数,文件脱敏,数据库脱敏,CPU,IO,内存,2,0,165G,／小时,30G,／小时,56%,68%,32%,,,,,,,系统配置（一台,HP,－,BL685,）,,,,,,CPU,存储,内存,操作系统,中间件,数据库,48,核,3T,32G,Suse11.2,Weblogic 10,Oracle 11G,光大脱敏,POC,参与厂商对比,IBM Optim,,性能：,1,小时,5,G,左右,,,系统：,PC Server,光大

21、脱敏,POC,参与厂商对比,SOLIX,,性能：,1,小时,1,0G,左右,,,系统：,Suse11.2,目录,公司简介介绍,数据安全需求,产品解决方案,产品技术方案,产品实施案例,产品优势总结,,,,,,产品优势,,,,,,,产品优势,功能全面,,,扩展灵活,,客户化定制,性能卓越,技术优势,,,,,,,,全程配置,数据安全,可视化定义,插件式扩展,高效脱敏,立体监控,,任务进度监控,数据表进度监控,流程节点处理能力监控,处理异常监控,多线程,多节点,并行计算,,可视化流程定义,流程节点插件,脱敏流程扩展,脱敏算法＋脱敏密钥＋脱敏密码本,配置岗、执行岗、审计岗权限分离,,67,元数据配置,权限配置,任务配置,流程配置,