元数据管理是关于如何定义信息资产以将数据转换为企业资产的跨组织协议。随着数据量和多样性的增长,元数据管理对于从海量数据中获取业务价值变得更加关键。
什么是元数据?
管理元数据从正确定义元数据开始。有些人选择将元数据称为“关于数据的数据”,但这只是一部分。有些人认为元数据是“识别数据的东西”。这也是部分定义。
实际上,元数据不仅仅是对数据的描述。随着数据复杂性的增加,元数据每天都要承担新的角色。在某些情况下,元数据可能是关于季度销售的业务角度。在其他情况下,它可能描述数据仓库的源到目标映射。
这一切都取决于背景。上下文元数据传递的内容既是业务的,也是技术的,这有助于您理解数据并适当地使用它。
- 技术元数据:提供有关数据格式和结构的信息,例如数据模型、数据沿袭或访问权限。
- 业务元数据:定义日常业务术语,如表和列定义、业务规则、数据共享规则和数据质量规则。
为什么元数据管理很重要?
元数据管理很重要,因为您可以利用元数据来理解、聚合、分组和排序数据。您还可以将许多数据质量问题追溯到元数据。当能源公司的首席执行官“高质量的元数据使我们做的每件事都更容易,从内部通信到规划新应用程序,再到做出更好的决策。”
元数据用户和元数据创建者协作提高数据质量和数据可用性
当前对元数据管理的需求是由企业接受数据文化的速度所驱动的。它们产生了大量的数据,也消耗了大量的数据。元数据管理为这两个场景提供了清晰而丰富的上下文,包括要生成什么数据和要消费什么数据,从而确保数据成为有价值的企业资产。
“元数据管理仍然是一个普遍的趋势,84%的受访者表示他们目前有一个元数据计划,或者有未来努力的计划。”
2020年数据管理趋势,
Dataversity
组织在其数据管理实践中需要元数据管理,因为有:
- 对数据治理、法规和遵从性需求以及数据启用的需求不断增加
- 更高的数据质量和可信的分析越来越重要,从数据中驱动业务价值
- 数据的复杂性不断增加,新来源增加了传统来源
- 更多的业务用户积极地与数据交互
- 越来越需要加快转型工作,如数字化、全渠道实现和数据现代化
什么是元数据管理工具?
元数据管理工具提供了公共词汇,不同的数据公民组可以使用这些词汇进行交流并有效地管理他们的工作。例如,
- 业务用户使用组织度量和策略。他们占了近80%,是最大的群体元数据消费者,询问区域销售定义或当前计费周期等问题。
- 业务数据管理员管理业务元数据,包括术语表术语和业务规则。它们为生成和使用元数据提供支持。
- 系统数据管理员管理技术元数据以及系统与业务规则的一致性。
- 数据架构师通过概念模型和逻辑模型将业务元数据与技术元数据连接起来。他们是元数据消费者的第二大群体,占70%,询问诸如存储客户数据的批准数据结构或源等问题报表的。
- 数据工程师使用技术元数据和数据类型标准。它们为生成和使用元数据提供支持。
元数据管理工具的关键功能
业务元数据(如术语表术语)通常没有正式的文档记录,只能作为部落知识提供。大多数情况下,技术元数据是自动加载的,如果需要则手动输入。在某种程度上,两者都需要对齐并统一提供。元数据管理工具可以有效地处理这种需求,将业务和技术元数据链接到一个地方,并为所有数据公民提供所需的上下文。它还支持丰富元数据,这对于最大化数据价值至关重要。
Gartner笔记元数据管理已经从关注报告、库存和静态影响分析转向智能优化、数据发现和用例分析。
现代元数据管理解决方案所需的一些关键功能包括:
- 数据目录,能够自动识别相似属性,解决歧义,并检测与其他数据资产的关系
- 通过自动发现和用户标记和评级(例如标记个人身份信息或PII)来丰富数据
- 数据沿袭,用于标识数据来源(数据及其起源的历史记录)和影响分析,用于标识任何元数据元素的更改的下游影响
- 主动元数据管理,包括广泛使用元数据,通过AI/ML实现显著的自动化,以支持更广泛的数据管理活动
- 直观的用户体验以及协同工作流程,以满足广泛的用户,如数据架构师、数据工程师、数据管理员和数据分析师
- 协作工作流,帮助元数据创建者了解如何消费元数据,以便元数据创建者和使用者都可以为提高数据质量做出贡献
- 业务语义支持词汇表和术语中的语义变化
- 具有可见性和识别异常能力的业务规则
- 与第三方工具交换元数据
- 通过规则和策略管理支持安全性和隐私性
实现正确的元数据管理解决方案将帮助您走向数据情报,创建具有支柱的企业数据资产清单数据治理,数据隐私,数据目录而且数据沿袭.
实现元数据管理
实现元数据管理可能很简单,也可能很复杂,这取决于您如何处理用例。数据治理和数据分析被认为是最重要的用例用于元数据管理解决方案。manbetx1.0下载考虑到元数据用户和来源非常多样化,您需要将元数据管理与数据治理和数据分析策略结合起来。
数据治理是创建和管理元数据的关键推动者。数据治理与元数据管理齐头并进,以确保对可信数据的访问,这些数据在整个生命周期中得到正确理解,并在正确的上下文中使用。自动化和自助服务只有在对元数据有共同理解的高质量可信数据可用时才能工作。
元数据管理实现的复杂性根据源、用例、用户及其角色的大小和多样性而有所不同。它还受到技术的影响,技术产生了新的资源和用例,也创造了更好地管理它们的机会。
元数据管理工作在三个层次上;重要的是要关注这三者之间的联系。
- 术语:通用业务语言和定义。资料来源包括行业标准、政策手册、合同、参考指南和手册。
- 属性:特定于业务资源,例如系统或报表。来源包括数据字典、系统文档、企业、概念和逻辑数据模型。
- 元素:特定于数据资源,例如数据库表或报告。来源包括数据库目录,电子表格和数据模型-物理。
实现元数据管理需要在所有三个级别上一致地捕获、存储和治理元数据。级别之间的元数据链接以及与顶级域(如客户、供应商或产品)的元数据链接支持搜索、导航和向下钻取。流程管理所有级别,以更改、审查、验证和认证术语。您还需要企业级策略管理,以确保各级元数据的质量。
元数据管理驱动业务价值,改进创新和协作,并帮助降低风险。它还使数据公民能够访问高质量和可信的数据,从而确保他们使用正确的数据来提供准确的见解。
在下一篇博客中,我们将重点介绍元数据管理的最佳实践,以确保对组织的持续价值。