摘要
2021 2.26
随着《中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见》正式发布,明确将数据作为一种生产要素写入政策文件,培育发展数据要素市场。数据作为一种资产已经逐渐被人们接受,大数据时代的到来加速了数据算法、算力及数据模型的发展,但同时也提高了拥有海量数据的企业对于数据管理的要求,如何用好数据,用对数据显得更加的重要。DAMA数据管理知识体系指南(第二版)作为数据治理领域的知识体系基础,充分解读了数据治理与数据利用的关系,给数据合规从业人员更广阔的视角,以进一步反馈到数据合规中。
第二版中将数据治理嵌入了数据管理的每一个环节中,特别强调数据治理应该融入系统设计和开发流程中,并且加强了数据建模和设计部分内容,给出了具体的数据标准以便数据治理更好的落地。第一版中更多强调的是被动数据治理,从理论上进行数据治理并且扩展到相关的服务中,第二版则是逐渐转变为主动治理,从传统数据治理到大数据治理。我们可以看到现在的企业处理的数据量越来越大,算法和算力都比之前有了质的提升,这就要求企业更加需要注重数据治理和数据管理能力的提升,而第二版也随之迭代,强调交付具体工具的重要性,脱虚务实。这本书在11个知识体系过程中分别详细的介绍了落地方法和工具并且给出了数据成熟能力评估方法从框架到工具到评估可以说是给出了全套服务,如果是企业中负责数据治理的工作者可以从此书入手全面深入的学习数据管理方式,科学的开展数据治理工作。
DAMA-DMBOK2的地位
国际数据管理协会(Data Management Association ,又名DAMA International,以下简称“DAMA”)是一个全球性数据管理和业务专业志愿人士组成的非营利协会,致力于数据管理的研究和实践。DAMA国际自1980年成立以来,一直致力于数据管理的理论研究、实践、教训及相关知识体系的建设,在数据管理领域累积了极为深厚的知识沉淀和丰富经验。
此书从数据治理、数据架构、数据质量、数据安全、主数据管理、参考数据管理、元数据管理、元数据管理、商务智能和数据参考管理、数据建模设计、数据存储和互操作、文档和内容管理、大数据、数据管理人员的道德要求等方面详细的介绍了DAMA知识体系。
《DAMA数据管理知识体系指南(第2版)》一书在第一版的基础上丰富了原有的管理框架,第二版更侧重于具体落到实践中企业该如何开展数据管理工作,更加贴近于现实场景。相比于DMBOK1第二版去掉了“数据开发”章节,增加了“数据建模和设计”和“数据集成和互操作”,“数据管理组织和角色期望”,“数据管理和组织变革管理“章节。

数据管理九大原则
1. 数据是有独立属性的资产:数据是一种资产,但相比其他资产,其在管理方式的某些方面有很大差异。对比金融和实物资产,其中最明显的一个特点是数据资产在使用过程中不会产生消耗。
2. 数据价值能够并且应该通过经济术语来表达:将数据称为资产意味着它有价值。虽然有技术手段可以测量数据的数量和质量,但还未形成这样做的标准来衡量其价值。想要对其数据做出更好决策的组织应该开发一致的方法来量化该价值。他们还应该衡量低质量数据的成本和高质量数据的好处。
3. 管理数据意味着管理数据的质量:确保数据符合应用的要求是数据管理的首要目标。为了管理质量,组织必须确保他们了解利益相关者对质量的要求,并根据这些要求度量数据。
4. 管理数据需要元数据:管理任何资产都需要首先拥有该项资产的数据(员工人数,账户号码等)。用于管理和如何使用的数据都叫元数据。因为数据无法拿在手中或触摸到,要理解它是什么以及如何使用它,需要以元数据的形式定义这些知识。元数据源于与数据创建、处理和使用相关的一系列流程,包括架构、建模、管理、治理、数据质量管理、系统开发、IT和业务运营以及分析。
5. 管理数据需要计划:即便是小型组织也可能有复杂的技术和业务流程蓝图。数据在多个地方被创建,且因为使用需要在很多存储位置间移动。需要一些协调工作来保持最终结果的一致,需要从架构和流程的角度进行规划。
6. 管理数据是跨职能的工作:它需要一系列的技能和专业知识,因此单个团队无法管理组织的所有数据。数据管理需要技术能力、非技术技能以及协作能力。
7. 数据管理需要企业级视角:虽然数据管理存在很多本地应用程序,但它必须能够有效地被应用于整个企业。数据是流动的,数据管理必须不断发展演进,以跟上数据创建的方式、应用的方式和消费者的变化。
8. 数据是流动的:数据管理必须不断发展演进,以跟上数据创建的方式、应用的方式和消费者的变化。
9.数据管理是全生命周期的管理:数据是有生命周期的,因此数据管理需要管理它的生命周期。因为数据又将产生更多的数据,所以数据生命周期本身可能非常复杂。数据管理实践活动需要考虑数据的整个生命周期。
业务驱动因素
1. 数据管理:信息和知识是竞争优势的关键。拥有关于客户、产品、服务和运营的可靠、高质量数据的组织,能够比没有数据或数据不可靠的组织做出更好的决策。如果不能像管理资本一样管理好数据,就会浪费和失去机会。正如有效管理财务和物理资产使组织能够从这些资产中获取价值一样,数据管理的主动驱动力也是使组织能够从其数据资产中获取价值。
2. 数据处理伦理:首席数据官CDO、首席风险官CRO、首席隐私官CPO、首席分析官CAO等新兴角色专注于通过建立可接受的数据处理实践来控制风险。但伦理责任不仅限于担任这些角色的人。按伦理准则进行数据处理需要全组织广泛认识到滥用数据带来的风险,并且用具有保护个人及尊重数据所有权的行为准则来作为组织认同的基础。
3.数据治理:数据治理最常见的驱动隐私是法规遵从性,特别是重点监控行业。例如,金融行业和医疗健康,需要引入法律要求的治理程序。尽管监管或者分析师可以驱动数据治理,但很多组织的数据治理是通过其他业务信息化管理需求所驱动的,如主数据(MDM)管理等,一个典型场景:一家公司需要更优质的客户数据,他选择开发客户主数据平台,然后接下来意识到成功的主数据管理是需要数据治理的。数据治理并不是到此为止,而是需要直接与企业战略保持一致。数据治理越显着地帮助解决组织问题,人们越有可能改变行为、接受数据治理实践。数据治理的驱动因素大多数聚焦于减少风险或者改变流程。
4.数据架构:数据架构的目标是在业务战略和技术实现之间建立起一座沟通的桥梁,数据架构是企业架构中的一部分,其主要职责为:
利用新型技术所带来的业务优势,从战略上帮助组织快速改变产品、服务和数据;
将业务需求转换为数据和应用需求,以确保能够为业务流程处理提供有效数据;
管理复杂数据和信息,并传递至整个企业;
确保业务和IT技术保持一致;
为企业改革、转型和提高适应性提供支撑。
以上业务驱动的职责是评判数据架构任务完成情况或价值的重要指标,这些指标直接影响对数据架构工作好坏的评估。数据架构师创建和维护企业相关数据及其系统的知识,这些知识可以使得企业将数据作为资产进行管理,以及研究更多数据在业务应用、降低成本、风险防控方面的场景,以提升奇特在数据价值变现方面的能力。
5.数据建模和设计:数据模型对于有效的数据管理至关重要,如:
提供有关数据的通用词汇表。
获取、记录组织内数据和系统的详细信息。
在项目中作为主要的交流沟通工具。
提供了应用定制、整合,甚至替换的起点。

数据建模和设计语境关系图
6.数据存储和操作:组织依赖它们的信息系统来运营业务。数据存储与操作活动对于依赖数据的企业来说非常关键,这些活动的主要驱动因素是业务连续性、如果某个系统不可用,企业运营可能受到损害,甚至完全停止运营。为IT运营提供可靠的数据存储基础设施,可以最大幅度降低业务中断的风险。
7.数据安全:降低风险和促进业务是数据安全活动的主要驱动隐私。确保组织数据安全,可降低风险并增加竞争优势。安全本身就是宝贵的资产。数据安全风险与法规遵从性、企业和股东的信托责任、声誉以及员工保护、业务合作伙伴、客户隐私、敏感信息的法律、道德责任等有关。组织可能因不遵循法规和合同义务而被罚款。数据泄露会导致声誉和客户信息的丧失。业务增长包括实现并维持运营业务目标。数据安全问题、违规以及对员工访问数据不合理的限制会对成功运营造成直接影响。如果将降低风险和发展业务的目标整合到一个连贯的信息管理和保护战略中,那么这些目标可以是互补和互相支持的。
8.数据集成和互操作:数据集成和互操作主要目的是为了对数据移动进行有效管理。由于大多数组织都有数以百计的数据库和存储库,因此每个信息技术组织的主要责任就是管理数据在组织内部的存储库与其他组织之间的双向流动过程。如果管理不当,移动数据的过程可能会压垮IT资源和能力,并弱化对传统应用程序和数据管理领域需求的支持能力。

数据集成和互操作语境关系图
9.文件和内容管理:文件和内容管理的主要业务驱动因素包括法规遵从性要求、诉讼响应能力和电子取证请求能力以及业务连续性要求。良好的档案管理还可以帮助组织提高效率。那些基于有效管理的本体及其他良好组织、条例清晰、可检索的网站,有助于提高客户和员工的满意度。
10.参考数据和主数据:
满足数据需求。组织中的多个业务领域需要访问相同的数据集,并且他们都相信这些数据集是完整的、最新的、一致的。主数据通常是这些数据集的基础。
管理数据质量。数据的不一致、质量问题和差异均会导致决策错误或丧失机会。主数据管理通过使用统一的标识来定义对组织至关重要的实体,以降低风险。
管理数据集的成本。在没有主数据的情况下,将新数据源集成到一个已经很复杂的环境中成本更高,这减少了因对关键实体的定义和识别方式的变化而产生的额外成本。
降低风险。主数据简化了数据共享架构,从而降低了与复杂环境相关的成本和风险。
11.数据仓库和商务智能:数据仓库建设的主要驱动力是运营支持智能、合规需求和商务智能活动(尽管不是所有的商务都依赖仓库数据)。越来越多的组织被要求用数据来证明他们是合规的,因为数据仓库中包含历史数据,所以经常被用来响应这类要求。不仅如此,商务智能支持一直是建设数据仓库的主要原因,商务智能为组织、客户及产品提供洞察。通过商务智能来获得决策知识并采取行动的组织,能提升其运营效率,增长其竞争优势。越来越多的数据已越来越快的速度被使用,商务智能从回顾性评价发展到预测分析领域。
12.元数据管理:
数据管理需要元数据,元数据本身也需要管理,可靠且良好管理元数据有助于:
通过提供上下文语境和执行数据质量检查提高数据的可信度。
通过扩展用途增加战略信息(如主数据)的价值。
通过识别冗余数据和流程提高运营效率。
防止使用过时或不正确的数据。
减少数据的研究时间。
改善数据使用者和IT专业人员之间的沟通。
创建准确的影响分析,从而降低项目失败的风险。
通过缩短系统开发生命周期时间缩短产品上市时间。
通过全面记录数据背景、历史和来源降低培训成本和员工流动的影响。
满足监管合规。
元数据有助于采用一致的方法展示信息、简化工作流程以及保护敏感信息,尤其是在已有监管合规要求的情况下。
13.数据质量:
建立正式数据质量管理的业务驱动因素包括:
提高组织数据价值和数据利用的机会
降低低质量数据导致的风险和成本
提高组织效率和生产力
保护和提高组织的声誉
希望从数据中获取价值的组织认识到,高质量数据比低质量更有价值。使用劣质数据充满风险,会损害组织的利益,导致罚款、收入损失、客户流失和负面的媒体曝光。监管的需求通常需要高质量的数据。
14.大数据和数据科学:期望抓住从多种流程生成的数据集中发现的商机,是提升一个组织大数据和数据科学能力的最大业务驱动力。大数据可以通过对更多、更大的数据集进行探索来激发创新,这些数据可用来定义预判客户需求的预测模型,并实现产品和服务的个性化展示。数据科学可以提升运营水平。机器学习算法可以将那些复杂且耗时的活动实现自动化,从而提升组织效率、削减成本、降低风险。
15.数据管理成熟度评估:
各组织进行能力成熟度评估有一下几个原因:
监管。监管对于数据管理提出了最低成熟度水平要求。
数据治理。出于规划与合规性目的,数据治理需要进行成熟度评估。
过程改进的组织就绪。组织认识到改进其时间过程应从评估其当前状态开始。例如,它承诺管理数据主数据,并需要评估其部署主数据管理流程和工具的准备情况。
组织变更。组织变更(如合并)会带来数据管理挑战。DAMA为应对这些挑战制定了规划。
新技术。技术的进步提供了管理和使用数据的新方法。组织希望了解成功采用的可能性。
数据管理问题。当需要解决数据质量问题或应对其他数据管理挑战时,组织希望对其当前状态进行评估,以便更好地决定如何实施变更。
DMBOK管理知识体系车轮图变化
DMBOK2.0相对于DMBOK1减少了数据开发模块,增加了数据建模和设计与数据集成胡互操作两个模块,丰富了数据在处理过程中的具体实施方法和手段。

DAMA-DMBOK2职能框架
该框架由车轮图和环境因素六边形图共同构成了DAMA数据管理知识体系,并定义了11个主要数据管理职能,使用7个环境元素对每个职能域进行描述,最后形成了评估矩阵。数据管理职能包括数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文档和内容管理、参考数据和主数据管理、数据仓库和商务智能、元数据管理、数据质量管理。基本环境因素:目标与原则、组织与文化、工具、活动、角色和职责、交付成果、技术。每一章介绍一个数据管理智能,讨论此职能的7个环境元素,每一章都遵循统一的结构。

DAMA-DMBOK2职能框架图
文化与组织变革
最后两章介绍了数据管理职责与角色期望、数据管理和组织变革管理,从文化和组织变革上给出了指导意见和方法,包括如何建立数据管理组织和与其他组织或机构进行沟通。
写在最后
2021 2.26
随着《中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见》正式发布,明确将数据作为一种生产要素写入政策文件,培育发展数据要素市场。数据作为一种资产已经逐渐被人们接受,大数据时代的到来加速了数据算法、算力及数据模型的发展,但同时也提高了拥有海量数据的企业对于数据管理的要求,如何用好数据,用对数据显得更加的重要,仅以此书及本篇文章给与有数据管理知识需求的业界人士提供一些帮助,愿各位都能得到大数据时代的红利。
2021 2.26
随着《中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见》正式发布,明确将数据作为一种生产要素写入政策文件,培育发展数据要素市场。数据作为一种资产已经逐渐被人们接受,大数据时代的到来加速了数据算法、算力及数据模型的发展,但同时也提高了拥有海量数据的企业对于数据管理的要求,如何用好数据,用对数据显得更加的重要。DAMA数据管理知识体系指南(第二版)作为数据治理领域的知识体系基础,充分解读了数据治理与数据利用的关系,给数据合规从业人员更广阔的视角,以进一步反馈到数据合规中。
第二版中将数据治理嵌入了数据管理的每一个环节中,特别强调数据治理应该融入系统设计和开发流程中,并且加强了数据建模和设计部分内容,给出了具体的数据标准以便数据治理更好的落地。第一版中更多强调的是被动数据治理,从理论上进行数据治理并且扩展到相关的服务中,第二版则是逐渐转变为主动治理,从传统数据治理到大数据治理。我们可以看到现在的企业处理的数据量越来越大,算法和算力都比之前有了质的提升,这就要求企业更加需要注重数据治理和数据管理能力的提升,而第二版也随之迭代,强调交付具体工具的重要性,脱虚务实。这本书在11个知识体系过程中分别详细的介绍了落地方法和工具并且给出了数据成熟能力评估方法从框架到工具到评估可以说是给出了全套服务,如果是企业中负责数据治理的工作者可以从此书入手全面深入的学习数据管理方式,科学的开展数据治理工作。
DAMA-DMBOK2的地位
国际数据管理协会(Data Management Association ,又名DAMA International,以下简称“DAMA”)是一个全球性数据管理和业务专业志愿人士组成的非营利协会,致力于数据管理的研究和实践。DAMA国际自1980年成立以来,一直致力于数据管理的理论研究、实践、教训及相关知识体系的建设,在数据管理领域累积了极为深厚的知识沉淀和丰富经验。
此书从数据治理、数据架构、数据质量、数据安全、主数据管理、参考数据管理、元数据管理、元数据管理、商务智能和数据参考管理、数据建模设计、数据存储和互操作、文档和内容管理、大数据、数据管理人员的道德要求等方面详细的介绍了DAMA知识体系。
《DAMA数据管理知识体系指南(第2版)》一书在第一版的基础上丰富了原有的管理框架,第二版更侧重于具体落到实践中企业该如何开展数据管理工作,更加贴近于现实场景。相比于DMBOK1第二版去掉了“数据开发”章节,增加了“数据建模和设计”和“数据集成和互操作”,“数据管理组织和角色期望”,“数据管理和组织变革管理“章节。

数据管理九大原则
1. 数据是有独立属性的资产:数据是一种资产,但相比其他资产,其在管理方式的某些方面有很大差异。对比金融和实物资产,其中最明显的一个特点是数据资产在使用过程中不会产生消耗。
2. 数据价值能够并且应该通过经济术语来表达:将数据称为资产意味着它有价值。虽然有技术手段可以测量数据的数量和质量,但还未形成这样做的标准来衡量其价值。想要对其数据做出更好决策的组织应该开发一致的方法来量化该价值。他们还应该衡量低质量数据的成本和高质量数据的好处。
3. 管理数据意味着管理数据的质量:确保数据符合应用的要求是数据管理的首要目标。为了管理质量,组织必须确保他们了解利益相关者对质量的要求,并根据这些要求度量数据。
4. 管理数据需要元数据:管理任何资产都需要首先拥有该项资产的数据(员工人数,账户号码等)。用于管理和如何使用的数据都叫元数据。因为数据无法拿在手中或触摸到,要理解它是什么以及如何使用它,需要以元数据的形式定义这些知识。元数据源于与数据创建、处理和使用相关的一系列流程,包括架构、建模、管理、治理、数据质量管理、系统开发、IT和业务运营以及分析。
5. 管理数据需要计划:即便是小型组织也可能有复杂的技术和业务流程蓝图。数据在多个地方被创建,且因为使用需要在很多存储位置间移动。需要一些协调工作来保持最终结果的一致,需要从架构和流程的角度进行规划。
6. 管理数据是跨职能的工作:它需要一系列的技能和专业知识,因此单个团队无法管理组织的所有数据。数据管理需要技术能力、非技术技能以及协作能力。
7. 数据管理需要企业级视角:虽然数据管理存在很多本地应用程序,但它必须能够有效地被应用于整个企业。数据是流动的,数据管理必须不断发展演进,以跟上数据创建的方式、应用的方式和消费者的变化。
8. 数据是流动的:数据管理必须不断发展演进,以跟上数据创建的方式、应用的方式和消费者的变化。
9.数据管理是全生命周期的管理:数据是有生命周期的,因此数据管理需要管理它的生命周期。因为数据又将产生更多的数据,所以数据生命周期本身可能非常复杂。数据管理实践活动需要考虑数据的整个生命周期。
业务驱动因素
1. 数据管理:信息和知识是竞争优势的关键。拥有关于客户、产品、服务和运营的可靠、高质量数据的组织,能够比没有数据或数据不可靠的组织做出更好的决策。如果不能像管理资本一样管理好数据,就会浪费和失去机会。正如有效管理财务和物理资产使组织能够从这些资产中获取价值一样,数据管理的主动驱动力也是使组织能够从其数据资产中获取价值。
2. 数据处理伦理:首席数据官CDO、首席风险官CRO、首席隐私官CPO、首席分析官CAO等新兴角色专注于通过建立可接受的数据处理实践来控制风险。但伦理责任不仅限于担任这些角色的人。按伦理准则进行数据处理需要全组织广泛认识到滥用数据带来的风险,并且用具有保护个人及尊重数据所有权的行为准则来作为组织认同的基础。
3.数据治理:数据治理最常见的驱动隐私是法规遵从性,特别是重点监控行业。例如,金融行业和医疗健康,需要引入法律要求的治理程序。尽管监管或者分析师可以驱动数据治理,但很多组织的数据治理是通过其他业务信息化管理需求所驱动的,如主数据(MDM)管理等,一个典型场景:一家公司需要更优质的客户数据,他选择开发客户主数据平台,然后接下来意识到成功的主数据管理是需要数据治理的。数据治理并不是到此为止,而是需要直接与企业战略保持一致。数据治理越显着地帮助解决组织问题,人们越有可能改变行为、接受数据治理实践。数据治理的驱动因素大多数聚焦于减少风险或者改变流程。
4.数据架构:数据架构的目标是在业务战略和技术实现之间建立起一座沟通的桥梁,数据架构是企业架构中的一部分,其主要职责为:
利用新型技术所带来的业务优势,从战略上帮助组织快速改变产品、服务和数据;
将业务需求转换为数据和应用需求,以确保能够为业务流程处理提供有效数据;
管理复杂数据和信息,并传递至整个企业;
确保业务和IT技术保持一致;
为企业改革、转型和提高适应性提供支撑。
以上业务驱动的职责是评判数据架构任务完成情况或价值的重要指标,这些指标直接影响对数据架构工作好坏的评估。数据架构师创建和维护企业相关数据及其系统的知识,这些知识可以使得企业将数据作为资产进行管理,以及研究更多数据在业务应用、降低成本、风险防控方面的场景,以提升奇特在数据价值变现方面的能力。
5.数据建模和设计:数据模型对于有效的数据管理至关重要,如:
提供有关数据的通用词汇表。
获取、记录组织内数据和系统的详细信息。
在项目中作为主要的交流沟通工具。
提供了应用定制、整合,甚至替换的起点。

数据建模和设计语境关系图
6.数据存储和操作:组织依赖它们的信息系统来运营业务。数据存储与操作活动对于依赖数据的企业来说非常关键,这些活动的主要驱动因素是业务连续性、如果某个系统不可用,企业运营可能受到损害,甚至完全停止运营。为IT运营提供可靠的数据存储基础设施,可以最大幅度降低业务中断的风险。
7.数据安全:降低风险和促进业务是数据安全活动的主要驱动隐私。确保组织数据安全,可降低风险并增加竞争优势。安全本身就是宝贵的资产。数据安全风险与法规遵从性、企业和股东的信托责任、声誉以及员工保护、业务合作伙伴、客户隐私、敏感信息的法律、道德责任等有关。组织可能因不遵循法规和合同义务而被罚款。数据泄露会导致声誉和客户信息的丧失。业务增长包括实现并维持运营业务目标。数据安全问题、违规以及对员工访问数据不合理的限制会对成功运营造成直接影响。如果将降低风险和发展业务的目标整合到一个连贯的信息管理和保护战略中,那么这些目标可以是互补和互相支持的。
8.数据集成和互操作:数据集成和互操作主要目的是为了对数据移动进行有效管理。由于大多数组织都有数以百计的数据库和存储库,因此每个信息技术组织的主要责任就是管理数据在组织内部的存储库与其他组织之间的双向流动过程。如果管理不当,移动数据的过程可能会压垮IT资源和能力,并弱化对传统应用程序和数据管理领域需求的支持能力。

数据集成和互操作语境关系图
9.文件和内容管理:文件和内容管理的主要业务驱动因素包括法规遵从性要求、诉讼响应能力和电子取证请求能力以及业务连续性要求。良好的档案管理还可以帮助组织提高效率。那些基于有效管理的本体及其他良好组织、条例清晰、可检索的网站,有助于提高客户和员工的满意度。
10.参考数据和主数据:
满足数据需求。组织中的多个业务领域需要访问相同的数据集,并且他们都相信这些数据集是完整的、最新的、一致的。主数据通常是这些数据集的基础。
管理数据质量。数据的不一致、质量问题和差异均会导致决策错误或丧失机会。主数据管理通过使用统一的标识来定义对组织至关重要的实体,以降低风险。
管理数据集的成本。在没有主数据的情况下,将新数据源集成到一个已经很复杂的环境中成本更高,这减少了因对关键实体的定义和识别方式的变化而产生的额外成本。
降低风险。主数据简化了数据共享架构,从而降低了与复杂环境相关的成本和风险。
11.数据仓库和商务智能:数据仓库建设的主要驱动力是运营支持智能、合规需求和商务智能活动(尽管不是所有的商务都依赖仓库数据)。越来越多的组织被要求用数据来证明他们是合规的,因为数据仓库中包含历史数据,所以经常被用来响应这类要求。不仅如此,商务智能支持一直是建设数据仓库的主要原因,商务智能为组织、客户及产品提供洞察。通过商务智能来获得决策知识并采取行动的组织,能提升其运营效率,增长其竞争优势。越来越多的数据已越来越快的速度被使用,商务智能从回顾性评价发展到预测分析领域。
12.元数据管理:
数据管理需要元数据,元数据本身也需要管理,可靠且良好管理元数据有助于:
通过提供上下文语境和执行数据质量检查提高数据的可信度。
通过扩展用途增加战略信息(如主数据)的价值。
通过识别冗余数据和流程提高运营效率。
防止使用过时或不正确的数据。
减少数据的研究时间。
改善数据使用者和IT专业人员之间的沟通。
创建准确的影响分析,从而降低项目失败的风险。
通过缩短系统开发生命周期时间缩短产品上市时间。
通过全面记录数据背景、历史和来源降低培训成本和员工流动的影响。
满足监管合规。
元数据有助于采用一致的方法展示信息、简化工作流程以及保护敏感信息,尤其是在已有监管合规要求的情况下。
13.数据质量:
建立正式数据质量管理的业务驱动因素包括:
提高组织数据价值和数据利用的机会
降低低质量数据导致的风险和成本
提高组织效率和生产力
保护和提高组织的声誉
希望从数据中获取价值的组织认识到,高质量数据比低质量更有价值。使用劣质数据充满风险,会损害组织的利益,导致罚款、收入损失、客户流失和负面的媒体曝光。监管的需求通常需要高质量的数据。
14.大数据和数据科学:期望抓住从多种流程生成的数据集中发现的商机,是提升一个组织大数据和数据科学能力的最大业务驱动力。大数据可以通过对更多、更大的数据集进行探索来激发创新,这些数据可用来定义预判客户需求的预测模型,并实现产品和服务的个性化展示。数据科学可以提升运营水平。机器学习算法可以将那些复杂且耗时的活动实现自动化,从而提升组织效率、削减成本、降低风险。
15.数据管理成熟度评估:
各组织进行能力成熟度评估有一下几个原因:
监管。监管对于数据管理提出了最低成熟度水平要求。
数据治理。出于规划与合规性目的,数据治理需要进行成熟度评估。
过程改进的组织就绪。组织认识到改进其时间过程应从评估其当前状态开始。例如,它承诺管理数据主数据,并需要评估其部署主数据管理流程和工具的准备情况。
组织变更。组织变更(如合并)会带来数据管理挑战。DAMA为应对这些挑战制定了规划。
新技术。技术的进步提供了管理和使用数据的新方法。组织希望了解成功采用的可能性。
数据管理问题。当需要解决数据质量问题或应对其他数据管理挑战时,组织希望对其当前状态进行评估,以便更好地决定如何实施变更。
DMBOK管理知识体系车轮图变化
DMBOK2.0相对于DMBOK1减少了数据开发模块,增加了数据建模和设计与数据集成胡互操作两个模块,丰富了数据在处理过程中的具体实施方法和手段。

DAMA-DMBOK2职能框架
该框架由车轮图和环境因素六边形图共同构成了DAMA数据管理知识体系,并定义了11个主要数据管理职能,使用7个环境元素对每个职能域进行描述,最后形成了评估矩阵。数据管理职能包括数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文档和内容管理、参考数据和主数据管理、数据仓库和商务智能、元数据管理、数据质量管理。基本环境因素:目标与原则、组织与文化、工具、活动、角色和职责、交付成果、技术。每一章介绍一个数据管理智能,讨论此职能的7个环境元素,每一章都遵循统一的结构。

DAMA-DMBOK2职能框架图
文化与组织变革
最后两章介绍了数据管理职责与角色期望、数据管理和组织变革管理,从文化和组织变革上给出了指导意见和方法,包括如何建立数据管理组织和与其他组织或机构进行沟通。
写在最后
2021 2.26
随着《中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见》正式发布,明确将数据作为一种生产要素写入政策文件,培育发展数据要素市场。数据作为一种资产已经逐渐被人们接受,大数据时代的到来加速了数据算法、算力及数据模型的发展,但同时也提高了拥有海量数据的企业对于数据管理的要求,如何用好数据,用对数据显得更加的重要,仅以此书及本篇文章给与有数据管理知识需求的业界人士提供一些帮助,愿各位都能得到大数据时代的红利。
