前作数仓系列之元数据及其管理偏向于理论介绍本文汇总几个元数据管理相关工具或项目。元数据管理解决方案监控整个生命周期中的数据包括数据分析数据价值数据治理以及风险和合规性。OpenMetadata官网开源GitHub14.7K Star2.3K Fork元数据管理平台集成数据治理、数据协作、数据观测、数据发现官方宣传功能于一体实际上也包括数据质量、数据血缘等功能支持84连接器。优点提供在线体验Demo环境有助于推广拉新UI界面美观漂亮界面操作逻辑符合国人使用习惯项目年轻能够在已有的众多数据资产项目中吸取经验集成数据质量模块支持开放数据标准基于数据可观测的新理念设计五层结构从下到上包括SchemasJSON Schema定义所有元数据实体是整个系统的词汇表。使用类型、实体和实体之间关系的模式定义元数据的核心抽象和词汇。开放元数据标准的基础支持具有自定义属性的实体和类型的可扩展性Metadata StoreMySQL/PG存储元数据ES/OpenSearch负责搜索索引REST APIsJava21Dropwizard构建的REST API主端口8585Ingestion Framework摄取框架Python编写的采集框架通过Airflow调度84数据源连接器User interface用户界面用户发现所有数据并就所有数据进行协作的单一位置核心功能数据协作通过活动源获取事件通知。使用webhook发送警报和通知。添加公告以通知团队即将发生的更改。添加任务以请求描述或术语表术语批准工作流程。添加用户提及并使用对话线程进行协作数据质量和分析器标准化测试和数据质量元数据。将相关测试分组为测试套件。支持自定义SQL数据质量测试。有一个交互式仪表板可以深入了解详细信息数据血缘支持丰富的列级沿袭。有效过滤查询以提取沿袭。根据需要手动编辑谱系并使用无代码编辑器连接实体全面的角色和策略处理复杂的访问控制用例和分层团队连接器支持连接到各种数据库、仪表板、管道和消息传递服务的84个连接器术语表添加受控词汇来描述组织内的重要概念和术语。添加词汇表、术语、标签、描述和审阅者。数据安全支持Google、Okta、自定义OIDC、Auth0、Azure、Amazon Cognito和OneLogin作为SSO的身份提供商。支持AWS SSO和Google基于SAML的身份验证Schema-First一份定义驱动三端代码。所有实体定义只写一次JSON Schemamake generate命令可生成Java POJO后端、Python Pydantic 模型Ingestion、TypeScript interface前端三端模型代码。前后端对同一个表的理解永远一致后端加字段前端必然同步知道。核心实体定义在openmetadata-spec/src/main/resources/json/schema/table.json13种表类型28数据类型tag.json分类标签glossary.json术语表testCase.json数据质量测试用例testSuite.json测试套件lineage.json列级血缘关系连接器是元数据平台的命脉类别数量代表数据库50MySQL、PG、BigQuery、Snowflake、Redshift、ClickHouse、MongoDB、Databricks、Oracle仪表盘15Tableau、Looker、PowerBI、Superset、Metabase、Grafana、Redash管道15Airflow、Dagster、dbtCloud、Fivetran、Airbyte、NiFi、Flink消息队列5Kafka、Kinesis、Pub/Sub、Redpanda存储2S3、GCSML模型3MLflow、SageMaker每个连接器目录结构一致connection.py连接、metadata.py提取元数据、lineage.py解析血缘、service_spec.py定义服务规格。列级血缘分两条路数据库内置查询如Snowflake的ACCESS_HISTORY和SQL日志解析。SQL解析用自研的collate_sqllineage库基于ANTLR做15方言的语法分析最终用NetworkX DiGraph构建有向血缘图。数据质量方面内置25种测试类型分两大类列级测试14种唯一性、非空、值域范围、正则匹配、集合包含/排除、长度、统计分布均值、中位数、标准差表级测试11种行数校验、列数校验、列存在性、自定义SQL、表对比Table Diff测试定义在仓库里就是JSON文件如columnValuesToBeUnique.json定义唯一性校验的模板参数tableRowCountToBeBetween.json定义行数范围校验。通过UI无代码创建测试用例按Test Suite组织执行结果直接展示在仪表盘上。Profiler模块ingestion/src/metadata/profiler/负责自动采样统计支持不同数据库的专用采样策略。实际效果给BigQuery里的订单表加金额不为空状态在枚举范围内的约束每天自动跑结果自动推——不用写一行代码。治理分四层标签Tags层级分类标签UI手动打标或Auto Classification自动分类术语表Glossary统一定义收入活跃用户这类业务术语关联到具体数据资产所有权Ownership给表、仪表盘、管道指定Owner和Steward数据域Domains与数据产品Data Products按业务域组织资产形成可发现、可复用的数据目录权限基于RBACSSO支持Google、Okta、Azure AD、Auth0、AWS Cognito、SAML、LDAPJWT认证。基本覆盖企业常见身份体系。实现完整OAuth 2.0授权服务器RFC 7636 PKCE授权码流程复用OpenMetadata已有的SSO认证Token加密存储FernetAccess Token 1小时、Refresh Token 7天自动轮转MCP工具执行时使用用户身份遵守RBAC策略权限边界和UI一致MCP集成支持三个工具GetLineageTool、SearchTool、DiscoveryTool。Python采集(Ingestion)框架的调度依赖Apache Airflow如果团队目前没用Airflow就得多引入一个组件。实战如果想快速体验功能建议使用官方在线sandbox使用Google单点登录左侧边栏如下以及探索数据集市Data Marketplace治理-术语库解读术语库下有若干个术语术语有从属关系、描述、状态、所有者可添加标签可对术语点赞、点踩术语有版本历史治理-本体浏览器信息量有点大治理-列批量操作解读列名可能重复出现在不同资产表里列名唯一出现在某资产里时资产列可跳转描述其实就是状态有4种完成、不完整、不一致、丢失的搜索条件默认有列名、服务、资产类型、状态支持添加自定义过滤条件添加过滤基于源码和Docker Compose部署gitclone https://github.com/open-metadata/OpenMetadata.gitcdOpenMetadatadockercompose-fdocker/docker-compose-quickstart/docker-compose.yml up-d莫名其妙这是在下载电影吗其中.git隐藏文件夹有2.83G早知道可使用浅克隆参考Git拓展。浏览器打开管理界面http://localhost:8586默认账号admin/adminAPI文档打开http://localhost:8585。DataHub官网Linkedin开源GitHub12.5K Star3.6K Fork、为现代数据栈而生的元数据平台目的就是为了解决多种多样数据生态系统的元数据管理问题提供元数据检索、数据发现、数据监测和数据监管能力解决数据管理的复杂性。官方文档。采用基于推送的数据收集架构当然也支持pull拉取的方式能够持续收集变化的元数据。当前版本已集成大部分流行数据生态系统接入能力包括但不限于Kafka、Airflow、MySQL、SQL Server、Postgres、LDAP、Snowflake、Hive、BigQuery。优点底层架构灵活先进未扩展集成而生支持推送和拉去模式UI界面简单易用技术人员及业务人员友好接口丰富功能全面不足前端界面不支持国际化界面的构建和使用逻辑不够中国化版更更新迭代快使用后升级是个难题较多功能在建设中如Hive列级血缘部分功能性能还需要优化如SQL Profile架构图CKAN官网世界领先的开源GitHub5.1K Star2.1K Fork数据门户平台用于制作开放数据网站的工具使发布、共享和处理数据变得容易。数据管理系统为编目、存储和访问数据集提供强大平台具有丰富前端、完整API用于数据和目录、可视化工具等。优点Python主要开发语言上手入门不难历史悠久有大量的政府、研究组织用来开放公开数据使用简单、独立部署功能聚焦中小规模数据编目、开发、预览及下载不足聚焦于数据门户即编目组织数据、提供数据预览及下载海量数据传输性能有问题不支持现代大数据同步、集成功能相对单一Amundsen官网Lyft开源GitHub4.8K Star964 Fork数据发现和元数据管理平台旨在提高数据分析师、数据科学家和工程师与数据交互时的生产力。提供用户友好的界面使用户可搜索、浏览和贡献数据集的元数据信息支持与其他数据工具和平台的集成。通过索引数据资源表格、仪表板、数据流等并基于使用模式如查询频率高的表格会优先于查询频率低的表格提供页面排名式的搜索功能来实现这一目标。优点Lyft大厂开源社区活跃版本更新较多定位清晰明确与Datahub类似致力于成为现代数据栈中的数据目录产品支持对接较多的数据平台与工具微服务架构支持通过Databuilder框架自定义元数据采集任务支持ES/OpenSearch、PostgreSQL/MySQL、AWS Neptune、Neo4j作为后端存储不足中规中矩的UI界面操作便捷性不足血缘、标签、术语等功能方面不如Datahub使用便捷对比其他项目工具核心差异点Atlas与Hadoop生态深度耦合偏重安全与治理Amundsen轻量且UI友好DataHub原生支持流式元数据Kafka、GraphQL API更早专注搜索体验优化OpenMetadataApache开源目录侧重元数据事件流与治理工作流专注于搜索与协作体验Marquez官网主要使用Java开发、开源GitHub2.3K Star407 Fork数据资产的可视化及血缘展示。优点界面美观操作细节设计比较棒部署简单代码简洁依靠底层OpenLineage协议结构较好不足聚焦数据资产/血缘的可视化数据资产管理的一些功能需要较多开发工作。MetacatNetflix开源GitHub1.7K Star286 Fork的数据发现和元数据管理平台提供统一的接口来查找和浏览各种数据集的元数据信息并支持与其他数据工具和服务的集成。核心架构涉及三项关键服务执行服务Genie、元数据服务Metacat和事件服务Microbots。充当所有数据存储的元数据访问层也是各种计算引擎可用来访问不同数据集的集中式服务。三个主要目标元数据系统的联合视图用于数据集元数据的统一 API数据集的任意业务和用户元数据存储功能数据抽象和互操作性业务和用户定义的元数据存储数据发现数据变更审计和通知Hive Metastore优化Open Data Discovery简称ODD官网开源GitHub1.4K Star143 Fork的数据发现和可观测性平台。旨在通过使数据更易于发现、管理、可观察、可靠和安全帮助数据驱动企业实现数据民主化。ODD支持开放数据标准数据团队能够在各种数据工具之间进行更高效的数据交换。优点提供在线体验Demo环境有助于推广拉新UI界面美观漂亮界面操作逻辑符合国人使用习惯项目年轻能够在已有的众多数据资产项目中吸取经验集成了数据质量模块Datahub有的一些优秀功能都做了规划支持开放数据标准感觉也没啥用国内玩不转提供了调度工作流告警接口基于数据可观测的新理念设计ML是第一等公民这个是对赌未来的AI发展预期实战官方提供在线demo支持Google和GitHub两种授权登录方式。先看看管理当前支持命名空间、数据源、集成、收集者、拥有者、标签、角色、政策管理-集成目前支持31种外部集成Airbyte、Cassandra、CKAN、ClickHouse、CockroachDB、Couchbase、Databricks、Apache Druid、DuckDB、Elasticsearch、Hive、MariaDB、Metabase、MongoDB、SQL Server、MySQL、Neo4j、Oracle、PG、Presto、Redash、Redshift、scylladb、SingleStore、Snowflake、Spark、SQLite、Superset、Tableau、Tarantool、Trino。管理-数据源Magda官网开源GitHub604 Star105 Fork数据目录系统提供数据编目、增强、搜索、跟踪和排序等功能。支持内部、外部数据源支持大数据及小数据处理支持通过文件、数据库或API的方式对外提供数据资产服务。目标用户数据技术人员例如数据分析师、数据科学家和数据工程师。价值目标为数据技术人员提供历史数据版本管理、重复数据检测等辅助功能提高数据查询、管理的效率及质量。优点轻量简单的数据目录管理平台界面朴素简洁支持数据预览、地图数据功能聚焦独立部署不足功能相对单一与下面的CKAN一样定位于数据编目数据展示及共享海量数据传输性能有问题不支持现代大数据同步、集成实战官方提供在线体验demo不过打不开no healthy upstream。商业平台Collate官网Open Metadata的SaaS版本。Alation官网商业数据目录UI简单、一致且直观。Atlan官网元数据管理、数据治理统一协同工作台功能丰富如数据目录和发现、数据血缘和治理以及数据探索和集成。内置支持多种数据质量工具。优点功能丰富、支持协同工具Slack等集成UI界面美观、操作指引友好内置支持多种数据集成工具及数据探索工具不足其实是商用产品仅部分开源GitHub。Monte Carlo官网数据平台可帮助数据团队解决数据停机问题使他们能够更有效地处理仪表盘更快地训练更准确的ML模型并推动分析操作。广泛关注机器学习驱动的数据可观测性为数据团队提供深入研究数据和大规模识别潜在问题的高级能力。与许多其他专有数据目录解决方案一样将用户锁定到自己的数据接收协议中。缺少某些ML实体可能会破坏当今许多组织的交易。Datakin官网Marquez的商用SaaS版本 支持Apache Hive、Amazon RDS、Teradata、Amazon Redshift、Amazon S3、Cassandra。Metaphor官网DataHub的商业SaaS版本。Stemma官网Amundsen的商业SaaS版本。Ataccama官网AI驱动的数据和元数据企业平台具有数据质量、主数据管理和数据集成组件。UI使快速分析团队、高度监管的治理团队和技术数据团队能够轻松处理其数据资产。优点是非常注重数据质量对敏捷、数据驱动的组织至关重要。