数据治理建设管理方案（参考）(一)

数据治理背景

1、多数企业内部系统建设多，数据分散，各系统数据共享困难，信息化建设“烟囱式”严重；
2、企业各部门系统口径不一致，数据标准不统一，数据质量无法整体评估；
3、数据不可知，数据挖掘不到位。数据使用者未知数据多，无法得知这些数据与业务的联系，不知如何管理数据；
4、数据不可控，数据使用者对汇集数据、处理数据、数据服务过程模糊
5、数据不可取，数据使用者知晓自己业务所需数据，但不知如何获取或者轻松获取；
6、数据关联性差，无法对数据进行自主探索和挖掘，数据价值停留在表面，没有形成知识图谱。

数据治理概念

数据治理是根据数据全生命周期、数据整体流向，将数据作为企业资产进行整体管控、人员绩效评判和风险管理工作的整套治理体系。保障企业数据及其应用过程中的合理运营、风险可控以及数据价值实现。将从企业组织架构、人员方案、规章制度、技术架构、人员绩效等多维度构建数据架构管理、元数据管理、数据质量管理、数据标准管理、数据安全管理、数据生命周期管理等模型，全面梳理整体数据，促进企业的数字化建设，是一个长期、复杂的工程。

数据治理目标

结合各行业组织信息化发展以及业务数据相关应用，《信息技术服务治理 第5部分：数据治理规范》明确了数据治理规范的实施方法和过程。数据治理框架以“运营合规、风险可控、价值实现”为目标，包括“顶层架构设计、数据治理环境、数据治理域、数据治理过程”四大部分，分别对应数据治理实施基础、保障机制、治理对象和治理方法，实现数据治理与组织管理的融合。
运营合规：数据管理体系的建设必须符合法律、行业标准，并且通过数据评估、数据审计和优化保证数据合规，提高数据准确性和完整性。
风险可控：通过建立风险评估管理机制，严谨执行数据管理制度、约束组织架构、强化执行力度、明确管理流程，全局掌控组织内外数据治理环境、利益关系，降低经营风险，保障数据安全，将数据不确定性因素变为可知可控的风险。
价值实现：数据治理的最终结果，能否推进信息资源的整合，实现企业各部门数据资源共享，企业数字化转型持续发展都是数据治理价值的体现。

数据治理目标

基于数据治理体系，实现数据接入标准化、数据处理自动化、数据监控智能化、数据组织知识化、数据运行可视化、数据应用自助化。
1、数据接入标准化：制定数据接口规范，统一数据标准规范；
2、数据处理自动化：合理设计ETL过程或者使用ETL开发工具，提高数据抽取、转换、加载效率；
3、数据监控智能化：通过定义多种接口规范，实现运维监控管理，以短信、邮箱等多种方式实现监控预警；
4、数据组织知识化：各部门数据共享，提取核心数据，形成主数据模型，确定主题域，整合关联数据，形成以业务实体为单位的数据关系网络，即知识图谱；
5、数据运行可视化：合理使用ETL工具、自研产品，与数据治理平台相结合，任务调度和作业流程可视化；
6、数据应用自助化：建设企业综合服务平台，通过服务权限和数据权限控制实现数据便捷服务和应用。

需求分析

多数企业已经意识到数据资产管理的重要，但是对数据治理整个流程管控依旧存在不足，不仅限制组织数据质量的进一步提高，同时也限制了数据的价值实现。对于数据质量的需求主要分为：
1、数据标准和数据模型规范统一。
企业各组织机构均有一套独立的信息系统，各部门在各自的业务范畴内生产、使用和管理数据，使数据分散在不同的部门和信息系统中，缺乏统一的数据规范、数据来源和数据标准，导致数据格式、内容、含义上的不统一、不规范、冗余、无法在各部门共享。
2、需要规范统一的主数据。
组织机构核心系统的数据信息并不是存储在一个独立的系统中，或者说不是一个统一的业务管理流程在维护，缺乏主数据管理，导致整个业务范围内的主数据无法保证一致、完整，影响数据准确性。
3、数据质量企业化管控。
目前大部分的数据质量管理均由企业个部门分头进行，每个部门对数据质量的评估机制不一致，缺乏清晰的跨部门、跨机构的数据质量管控标准与规范，数据质量分析随机性强，存在业务需求不清的情况，影响数据质量；部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题；缺乏完善的数据质量管控流程和系统支撑能力。
4、基于数据全生命周期的治理。
大型企业或者政务单位，数据的产生、使用、维护、备份到过期销毁的数据生命周期管理规范和流程还不完善，对于数据何时过期以及是否有效无法准确识别，并且在多数企业非结构化数据未纳入数据生命周期的管理范畴；未有效利用元数据管理。
5、建立数据治理监督和控制的专职组织。
上诉四点均可归结于数据存储、数据管理的分散，权责不明确，各个部门关注数据的角度不一致，缺少一个能从全局视角，纵观整体数据管理的组织，导致数据管理规程、标准建立困难，相应的数据监管措施无法得到落实，考核体系也无从建立，无法保障数据管理规章制度的有效执行。

数据治理体系构建

数据治理核心是数据治理架构的主体，包括数据架构管理、元数据管理、数据标准管理、主数据管理、数据安全管理、数据生命周期管理、数据服务管理。以上管理基于数据治理管控机制，如制定规章制度、建立组织体系、明确组织职责和管控、IT技术和工具的实行。同时，整个数据治理整套体系需要高层的战略决策支持。

数据治理核心领域

数据架构管理

数据架构是企业架构的一部分，数据模型是数据架构的核心，企业数据架构整合整个企业的数据并标准化，是企业架构的一部分，一个企业的数据架构是一套规范和文档的集合。数据架构是用于定义数据，指导对数据资产的整合和控制、使数据投资与业务战略相匹配的一套整体构建规范，包括正式的数据命名、全面的数据定义、有效的数据结构、精确的数据完整性规则以及健全的数据文档。数据模型是定义业务实体以及运营和直到业务所需的那些事实。数据模型是一种分析和设计方法，包括概念数据模型、逻辑数据模型和物理数据模型，是整个数据治理的重点。理想的数据模型应该具有非冗余、稳定、一致、易用性特点。一般情况下，概念数据建模和逻辑数据建模是需求分析活动，物理数据建模是设计工作。
概念数据模型是一系列针对于每一个主题域的概念数据模型图表。用来定义业务实体以及这些业务实体之间的关系，业务实体是主要组成部分，是企业熟悉并感兴趣的事物、人员、地点的概念和类别。业务实体的例子是实例，概念数据模型图一般不描述业务实体的数据属性，可能会包括实体之间多对多的业务关系，促进人们对业务的理解，有利于语义上的一致性。
逻辑数据模型是在概念模型之下，增加了更多细节来反映每个实体的关键数据属性，企业逻辑模型识别每个业务实体实例所需的数据，关键数据属性代表了通用的数据需求以及那些被广泛共享的数据属性的标准定义，关键的数据属性是指如果缺失则导致企业无法正常运作的属性。
物理数据模型是逻辑数据模型在数据库中的具体实现，是根据技术约束、应用方法、性能需求和建模标准等优化详细的数据需求和业务规则的实施工作。内容包括数据库内所有的表、视图、字段及其相关主键和外键的定义，以及系统内数据流向及系统间的数据交换关系。

元数据管理

元数据是描述数据的数据，按用途分为技术元数据、业务元数据和管理元数据。技术元数据（Technical Metadata）用于描述数据系统中技术领域相关概念、关系和规则的数据；包括数据平台内对象和数据结构的定义、数据源到目的数据源的映射、数据转换的描述等；业务元数据（Business Metadata）用于描述数据系统中业务领域相关概念、关系和规则的数据；包括业务术语、信息分类、指标、统计口径等；管理元数据（Management Metadata）用于描述数据系统中管理领域相关概念、关系、规则的数据，主要包括人员角色、岗位职责、管理流程等信息。

目前绝大数元数据管理系统都是按照技术元数据、业务元数据、管理元数据来开发和设计的，尤其强调了血缘关系；数据仓库是天然的靠血缘关系支撑的系统，但是业务系统的血缘关系并没有那么明显，即使在数据仓库系统中，血缘关系并非想象的那样唾手可得，绝大多数元数据管理工具的血缘关系大多来自于表的主外键依赖关系和对存储过程的解析，对于ETL工具而言则来自ETL开发过程。单纯的元数据管理存在的价值还是极其有限的，必须把元数据管理和数据标准、数据质量、数据资产、数据安全、数据认责等管理结合在一起，并通过各种服务向外提供给业务系统，才能真正发挥元数据的价值。

数据标准管理

数据标准是指研究、制定和推广应用统一的一套符合企业自身实际业务，包括数据的定义、数据分类、记录格式、操作、数据的应用多个方面的标准化体系，实现业务、技术、管理三方面的规范化。
数据治理对标准的需求可以划分为三类：基础类数据标准、指标类数据标准和专有类数据标准。基础类数据是指组织日常业务开展过程中所产生的具有共同业务特性的基础性数据。
基础数据可分为客户、资产、协议、地域、产品、交易、渠道、机构、财务、营销等主题。
指标类数据是指为满足组织内部管理需要及外部监管要求，在基础性数据基础上按一定统计、分析规则加工后的可定量化的数据。
专有类数据标准是指公司架构下子公司在业务经营及管理分析中所涉及的特有数据。
数据标准定义统一的数据标准，减少数据定义的二义性；各部门需要一个统一的数据接口，包括编码标准、数据内容格式上的统一；建立稳定的企业数据模型，统一所有数据，制定完整的数据地图，统一存储格式和压缩方式，提高数据存储效率和资源使用率。

数据质量管理

数据质量管理是对数据从采集、存储、使用、维护、共享、过期全生命周期的各个阶段里可能会出现的问题，进行识别、监控、预警等管理活动。数据质量管理是一个将技术、业务和管理集合的解决方案。用有效的数据质量管理手段，降低甚至消除数据质量问题从而进一步提升企业数据变现的能力。数据质量管理包括对数据的绝对质量管理和过程质量管理。绝对质量即数据的准确性、完整性、一致性等数据本身的质量，过程质量是指数据应用、存储和传输的质量。

一般企业所遇到的数据质量问题如下：
1、数据真实性：数据必须反应客观的实体存在或者真实业务；
2、数据可靠性：分析和识别哪些数据不是准确的或者无效数据；
3、数据唯一性：用于识别和度量重复数据、冗余数据；
4、数据完整性：包括模型设计、数据条目、数据属性不完整一系列问题；
5、数据一致性：多源数据的数据模型、数据实体等不一致，相同的数据有多个副本的情况下的数据不一致、数据内容冲突；
6、数据关联性：数据关联关系存在缺失或者错误会直接影响数据分析结果；
7、数据及时性：及时性是指数据能否在需要的时候迅速获取到数据，与企业的数据处理速度和效率直接关联，是业务处理和管理效率的关键指标。
数据质量管理的规划和实施包括：
1、建立数据质量管控体系、数据质量评估体系，定期对数据质量进行评估；
2、各部门系统落实数据质量检查规则，持续改进；
3、结合数据质量管理与业务稽核，发现数据质量更深层次的问题；
4、制定数据质量考核机制，加强业务人员对数据质量问题的认识。

主数据管理

主数据即企业各部门业务系统中最核心，最需要共享的数据。主数据管理需要将此类数据集中清洗和扩展，将其传输给组织范围内需要使用的操作性应用系统和分析性应用系统中。主数据管理需要遵循“六统一”原则
统一管理、统一标准、统一平台、统一建设、统一运营、统一应用。
主数据统一管理以确保方便、安全、快速、可靠地利用数据辅助决策和业务执行；
主数据统一标准属于数据标准之一，需结合企业信息数字化转型，对企业全业务领域的主数据进行体系化研究，由上而下开展主数据标准化工作；
主数据统一平台是以主数据全生命周期为定位，构建企业主数据代码管理体系、主数据库、标准规范等主数据信息的资源共享平台；
主数据统一建设需要对各类业务主数据制定分类标准，根据主数据收集、清洗、转换和编码过程，建立企业共用的主数据库；
主数据统一运营，建立企业范围内额主数据代码维护细则，对各部门生产的主数据进行统一审核、发布、维护等运营管理，保证主数据的一致性；
主数据统一应用是整个企业信息数字化的集中体现，主数据统一使各类业务数据抽取更加便捷，数据使用者能将各类主数据关联应用，提高企业整体业务数据价值。

数据安全管理

数据安全是指保护数据免受未经授权的访问、使用、更改和破坏。主要解决的是数据在存储、使用和传输交换过程中的安全问题。
数据安全管理流程可分为数据资产梳理与敏感数据识别、数据安全职责、数据分类分级、数据访问授权。

数据使用的安全性包括基础数据的存储、访问和权限管理；对系统中采集的敏感信息在下游分析系统和内部管理系统中需要进行加密处理，避免数据被非法访问；建立访问权限管理体系，包括单点登录问题及用户名、数据和应用的访问授权统一管理，可通过数字水印等技术实现企业级权限系统；为数据修改、使用等操作制定安全审计方法和责任追究制度，包括数据安全管理办法、系统开发规范、数据隐私管理办法、管理决策和分析系统审计管理办法等。

数据生命周期管理

数据全生命周期包括数据创建、数据保护、数据访问、数据应用、数据归档、数据回收销毁。在数据的生命周期中，数据自身价值决定了数据全生命周期的长度，并且数据价值在不同阶段是不同的，具体可以用数据不同阶段的活跃度来反应数据价值。
数据创建：数据应该能够按照数据质量标准和企业业务发展的需要生产，新的数据量增长速度快，需要存储环境以利于及时的处理、管理和保护，需要稳定、可靠、高可扩展能力的存储设备，如云存储服务器、分布式文件存储系统。
数据保护：企业经济效益与业务数据息息相关，越来越多企业信息向数字化方向转变，对于企业重要数据而言，需要对此类数据进行保护，本地磁盘、云服务、远程复制、集群备份、数据加密，采用不同的数据保护措施和技术，以保证各类数据和信息得到及时的和有效的保护。
数据访问：数据在整个生命周期中的活跃点，企业数据集中管理的重要目的之一，企业信息化相关部门需要对数据进行分析处理，以挖掘出对于管理及业务开展有价值的信息。此时数据在经过抽取、转换、加载之后，数据价值提高。在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等。
数据应用：数据活跃度至高点，此时的业务数据频繁使用在大屏展示、报表制作、业务分析中，数据价值达到最高，以驱动企业业务的发展，精准营销，决策辅助，所以数据传输过程中需要考虑保密性和完整性的问题，对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。
数据归档：维持一个数据备份和归档系统可以从多个方面支持企业的业务运作，可以防止这些记录被无意破坏，确保那些仍然对于一个组织具有一定作用的数据可以得到妥善的保存，让企业可以在原始信息因为某种原因被损坏或破坏时进行恢复。
数据回收销毁：这个阶段主要涉及数据的保密性。应明确数据销毁的流程，对没有保留或保存必要的数据进行销毁或回收，采用必要的工具，数据的销毁应该有完整的记录。对于需要送出外部修理的存储设备，送修之前必须对数据进行可靠的销毁。

数据服务管理

数据整合归集最终目的就是要服务于各机构部门、人员等，能更准确更快更方便的服务是数据服务管理的目标。数据服务管理是指针对内部积累多年的数据，研究如何能够充分利用这些数据，分析行业业务流程，优化业务流程。
数据使用的方式通常包括对数据的深度加工和分析，包括通过各种报表、工具来分析运营层面的问题，还包括通过数据挖掘等工具对数据进行深度加工，从而更好的管理者服务。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台来统一数据源，变多源为单源，加快数据流转速度，提升数据服务的效率。