DataHub Redshift 数据源完全指南能力矩阵、三种血缘收集器与故障排查实战【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub本指南以当前仓库 DataHub 中 Redshift 数据源模块metadata-ingestion/docs/sources/redshift/redshift_post.md为核心系统讲解多数据库/命名空间摄取、表血缘收集、Datashare 跨集群血缘、使用统计、数据剖析与所有权提取等生产级能力并结合源码与配置文件给出可直接落地的权限配置与排查方案。读完本文你将掌握如何为 Redshift 仓库配置一份生产可用的 ingestion recipe并能够根据实际业务是否有 Spectrum 外部表、是否依赖视图、查询历史规模在三种血缘收集模式间做出正确选择。模块概览与概念映射Redshift 数据源模块由redshiftsource 实现源码位于 metadata-ingestion/src/datahub/ingestion/source/redshift/其中 redshift.py 是主入口RedshiftSourceconfig.py 定义全部配置项lineage.py 与 usage.py 分别承载血缘与使用统计的提取逻辑。模块覆盖的元数据实体映射如下源自 redshift README 的 Concept Mapping 表Redshift 概念DataHub 实体子类型说明Cluster / AccountPlatform Instance顶层作用域所有 URN 都包含配置的 platform instanceDatabaseContainer (DATABASE)顶层命名空间共享数据库datashare也会被摄取SchemaContainer (SCHEMA)嵌套在 Database 容器之下外部 schemaGlue、Hive、PostgreSQL会携带外部平台元数据TableDataset (TABLE)普通表、外部表Redshift Spectrum自定义属性含dist_style、table_typeViewDataset (VIEW)捕获视图定义Materialized ViewDataset (VIEW)ViewProperties中materializedtrueLate Binding ViewDataset (VIEW)列通过pg_get_late_binding_view_cols()提取External Table (Spectrum)Dataset (TABLE)包含 location、输入/输出格式、SerDe 参数Column / fieldSchemaFielddist_key、sort_key列会被打上对应标签Userschema/表所有者CorpUser启用extract_ownership时提取表/列血缘Lineage edges来自 STL_SCAN、视图依赖、COPY/UNLOAD 命令、ALTER TABLE RENAME、datashare 引用查询操作与使用DatasetUsageStatistics, Operation来自 STL_SCANprovisioned或 SYS_QUERY_DETAILserverless模块支持状态为 GAsupport_status(SupportStatus.GA)见 redshift.py容器、描述、Schema 元数据、Platform Instance 默认启用数据剖析、血缘、使用统计、所有权提取则按需通过配置开启。能力总览以 Capabilities 表为准请以文档顶部Important Capabilities能力表作为功能支持情况与是否需要额外配置的唯一权威依据。该表由源码中的capability装饰器声明redshift.pyCONTAINERSDATABASE/SCHEMA默认启用DOMAINS通过domain配置字段支持DATA_PROFILING可选通过配置启用DESCRIPTIONS默认启用LINEAGE_COARSE / LINEAGE_FINE可选细粒度列级血缘需要启用mixed或sql_based血缘模式PLATFORM_INSTANCE默认启用SCHEMA_METADATA默认启用USAGE_STATS通过include_usage_statistics启用OWNERSHIP通过extract_ownership启用。多数据库与命名空间摄取Redshift 的数据源模块按数据库database逐库摄取这与源码中database: str Field(defaultdev)的配置项一一对应config.py。实操时遵循以下三条规则每个数据库单独一个 ingestion 配置。如果 Redshift 命名空间或 provisioned cluster中存在多个数据库需要为每个数据库分别建立摄取任务。同一命名空间内所有数据库的 recipe 应使用相同的platform_instance以保证 URN 一致、实体能够正确关联。不同命名空间必须使用不同的platform_instance。如果你有多个 Redshift 命名空间需要摄取进 DataHub强烈建议在 recipe 中将platform_instance设置为与命名空间等价的值。它可以是命名空间 ID 或其它人类可读的名称但必须在你的所有 Redshift 命名空间之间保持唯一。关于配置项校验check_database_is_set模型校验器强制要求database非空config.py也就是说即使默认值为dev也建议在 recipe 中显式写明目标数据库名。表血缘三种收集器的选型与原理Redshift 本身不提供开箱即用的表血缘因此 DataHub 提供了多种血缘收集器实现。收集模式由table_lineage_mode配置项控制其取值定义在 config.py 的LineageMode枚举中class LineageMode(Enum): SQL_BASED sql_based STL_SCAN_BASED stl_scan_based MIXED mixed默认值为MIXEDconfig.py。stl_scan_based基于stl_scan的收集器使用 Redshift 的stl_insert和stl_scan系统表来发现表与表之间的血缘。其核心 SQL 定义于 query.py以stl_insert的时间窗口内插入行为目标表集合CTEtarget_tables再从stl_scan中找出这些查询读取过的源表通过SVV_TABLE_INFO解析 schema/表名并对scan_type in (1, 2, 3)即表扫描做过滤同时排除内部系统用户rdsdb。优点快速可靠。缺点不适用于 Spectrum/外部表因为这类扫描不会出现在stl_scan表中如果某张表依赖的是一个视图视图本身不会被列为依赖项相反该表会直接连接到视图的依赖表上血缘被穿透到视图底层。sql_based基于 SQL 解析的收集器使用 Redshift 的stl_insert发现所有 INSERT 查询再通过 SQL 解析底层使用sqlglot发现依赖关系。其数据获取入口为list_insert_create_queries_sqlquery.py解析流程由 lineage.py 的_process_sql_parser_lineage实现——将每条 DDL 作为ObservedQuery喂给SqlParsingAggregator。优点支持 Spectrum 外部表如果表依赖视图视图会被正确连接视图作为中间节点出现在血缘路径中。缺点较慢可靠性稍低查询解析器在遇到某些查询时可能解析失败。mixed同时使用上述两种收集器先应用sql_based再应用stl_scan_based。在 lineage.py 的build()方法中mixed模式会同时把QUERY_SQL_PARSERinsert/create 查询解析与QUERY_SCANstl_scan 扫描两类收集任务加入执行队列。优点支持 Spectrum 外部表视图能被正确连接比单独使用sql_based更可靠一些。缺点慢由于查询解析器可能失败结果偶尔会不准确。血缘数据的时间窗口限制:::note用于获取血缘的 Redshift STL 日志表最多只保留七天的日志历史有时甚至只有 25 天。这意味着你无法从超出该时间窗口的查询中提取血缘。:::此外血缘提取还支持以下可配置来源全部默认开启见 config.py配置项默认值说明include_table_lineagetrue是否摄取表血缘include_view_lineage继承视图血缘VIEW/VIEW_DDL_SQL_PARSING收集器含 late binding view 的 DDL 解析include_copy_lineagetrue是否从 COPY 命令收集血缘S3 → Redshiftinclude_unload_lineagetrue是否从 UNLOAD 命令收集血缘Redshift → S3include_table_rename_lineagetrue是否跟踪alter table ... rename to语句计算血缘lineage.py 通过解析ALTER TABLE RENAMEDDL 建立新旧 URN 映射include_share_lineagetrue是否从 datashare 收集血缘resolve_temp_table_in_lineagetrue是否将血缘中出现的临时表解析为上游永久表skip_external_tablesfalse是否跳过外部表extract_column_level_lineagetrue是否提取列级血缘仅适用于 rest-sinkCOPY/UNLOAD 血缘的目标/源平台是 S3构造 S3 数据集 URN 时会应用s3_lineage_configpath_specs、strip_urls、ignore_non_path_spec_path进行路径归一化lineage.py。Datashare 跨集群血缘Datashare 血缘默认启用可通过设置include_share_lineage: False关闭。其实现位于 datashares.py 的RedshiftDatasharesHelper通过svv_datashares系统视图查询 OUTBOUND/INBOUND shareSQL 见 query.py。重要前置条件必须至少对 datashare 生产方producer命名空间执行一次 Redshift 摄取这样在消费方consumer命名空间被摄取后跨集群血缘才能正确显示。当消费方数据库是共享数据库时需要在 recipe 中配置is_shared_database: true该标记会改变元数据查询逻辑源码见 redshift.py 对is_shared_database()的判定。权限方面datahub用户需要在生产方和消费方两个命名空间的 datashare 上都拥有SHARE权限详见下文 Troubleshooting 部分。使用统计Usage Statistics使用统计的提取由include_usage_statistics控制默认关闭。它是所有使用统计的总开关启用时必须同时设置email_domain以便构造用户 URN。该约束在 config.py 的check_email_is_set_on_usage校验器中强制生效——如果开启了include_usage_statistics而未设置email_domain配置校验会直接报错。它有两个相互独立的子开关仅在include_usage_statistics: true时生效include_column_usage_stats默认false通过解析 SQL 查询文本来生成列级使用统计fieldCounts而不是通过 Redshift 的stl_scan系统表归因读取。这会更慢每条读取查询都要解析但能增加每列的使用统计。值得注意的实现细节启用后查询全文从STL_QUERYTEXT/SYS_QUERY_TEXT重建与血缘使用同一数据源而非使用被截断的stl_query.querytxtconfig.py。include_query_usage_statistics默认true为 SQL 血缘收集器发出的 Query 实体生成逐查询热度统计queryUsageStatistics。这要求lineage_generate_queries: true默认开启因为需要有 Query 实体来挂接统计信息config.py。include_usage_statistics: true email_domain: example.com include_query_usage_statistics: true # per-query popularity (default true) include_column_usage_stats: false # column-level usage (default false)性能提示启用任一子开关都会导致读取查询被血缘聚合器SqlParsingAggregator解析这比默认的stl_scan表使用路径更重。从源码实现看开启include_column_usage_stats后使用统计改由血缘聚合器统一产出usage.py并采用统一查询流list_all_queries_sql读写全量喂给聚合器一次来避免重复解析lineage.py大数据量下会先把游标结果落盘到FileBackedList再解析避免长时间占用 Redshift 游标导致超时。默认未开启include_column_usage_stats的路径则是从stl_scan读取已解析好的表级读取事件RedshiftAccessEvent以PreparsedQuery形式喂给聚合器聚合器不做 SQL 解析仅按已知表归因读取从而保持stl_scan的准确性usage.py。同时该路径会对所有已知表回填空使用统计auto_empty_dataset_usage_statistics保证窗口内无查询的表也有 usage aspectusage.py。此外若启用include_operational_stats还会基于访问事件生成 INSERT/DELETE 的 Operation aspect并对 10 秒窗口内同实体、同操作类型、同 actor 的重复操作做去重usage.py。数据剖析Profiling数据剖析会在 Redshift 集群上执行 SQL 查询来获取表的统计信息。为此用户需要对被剖析的表具有读访问权限。如果你不想授予表读权限可以启用仅表级剖析table level profiling它会获取表统计信息而无需读取数据profiling: profile_table_level_only: true实现层面profile.py 在profile_table_level_only: true时对外部表Redshift Spectrum会明确跳过并给出告警提示——外部表只有在关闭该开关时才能被剖析。因此如果你的场景包含 Spectrum 外部表又需要列级剖析需要注意这一限制。所有权提取Ownership在 recipe 中设置extract_ownership: true即可启用所有权提取extract_ownership: true该功能从 Redshift catalog 提取表、视图、schema 的所有者并在 DataHub 中将其作为TECHNICAL_OWNER发出。如果配置了email_domain所有者用户名会被加上{email_domain}后缀从而与使用统计生成一致的 URN。源码证据schema 所有者通过gen_schema_container(..., ownership_typeOwnershipTypeClass.TECHNICAL_OWNER)发出redshift.py表所有者同样以TECHNICAL_OWNER类型发出redshift.py。所有者名称通过pg_catalog.pg_user解析无需额外授权。注意所有权以覆盖overwrite模式应用——每次摄取运行时DataHub 中手动设置的所有者都会被替换。如果你的团队在 UI 上维护了手工所有者请谨慎启用该开关。前置准备权限与连接配置权限体系总览Redshift 模块的权限分为三类详见 redshift_pre.md系统表访问System Table Access——用于血缘与使用统计系统视图访问System View Access——用于元数据发现数据访问Data Access——用于数据剖析与分类。以超级用户或具有授权权限的用户执行以下核心授权-- Core system access (required for lineage and usage statistics) ALTER USER datahub WITH SYSLOG ACCESS UNRESTRICTED; -- Core metadata extraction (always required) GRANT SELECT ON pg_catalog.svv_redshift_databases TO datahub; -- Database information and properties GRANT SELECT ON pg_catalog.svv_redshift_schemas TO datahub; -- Schema information within databases GRANT SELECT ON pg_catalog.svv_external_schemas TO datahub; -- External schemas (Spectrum, federated) GRANT SELECT ON pg_catalog.svv_table_info TO datahub; -- Table metadata, statistics, and properties GRANT SELECT ON pg_catalog.svv_external_tables TO datahub; -- External table definitions (Spectrum) GRANT SELECT ON pg_catalog.svv_external_columns TO datahub; -- External table column information GRANT SELECT ON pg_catalog.pg_class_info TO datahub; -- Table creation timestamps and basic info -- Essential pg_catalog tables for table discovery GRANT SELECT ON pg_catalog.pg_class TO datahub; -- Table and view definitions GRANT SELECT ON pg_catalog.pg_namespace TO datahub; -- Schema namespace information GRANT SELECT ON pg_catalog.pg_description TO datahub; -- Table and column descriptions/comments GRANT SELECT ON pg_catalog.pg_database TO datahub; -- Database catalog information GRANT SELECT ON pg_catalog.pg_attribute TO datahub; -- Column definitions and properties GRANT SELECT ON pg_catalog.pg_attrdef TO datahub; -- Column default values GRANT SELECT ON pg_catalog.svl_user_info TO datahub; -- User information for usage and lineage -- Datashare lineage (enabled by default) GRANT SELECT ON pg_catalog.svv_datashares TO datahub; -- Cross-cluster datashare information -- Choose ONE based on your Redshift type: -- For Provisioned Clusters: GRANT SELECT ON pg_catalog.stv_mv_info TO datahub; -- Materialized view information (provisioned) -- For Serverless Workgroups: -- GRANT SELECT ON pg_catalog.svv_user_info TO datahub; -- User information (serverless alternative) -- GRANT SELECT ON pg_catalog.svv_mv_info TO datahub; -- Materialized view information (serverless) -- Schema access (required to read tables in each schema) GRANT USAGE ON SCHEMA schema_to_ingest TO datahub; -- Replace with actual schema names按场景的附加授权共享数据库Datashare 消费方is_shared_database: trueGRANT SELECT ON pg_catalog.svv_redshift_tables TO datahub; -- Table information in shared databases GRANT SELECT ON pg_catalog.svv_redshift_columns TO datahub; -- Column information in shared databasesRedshift Serverless Workgroups需svv_user_info与svv_mv_infoRedshift Provisioned Clusters需svl_user_info与stv_mv_infoDatashare 血缘include_share_lineage: true默认需svv_datashares的 SELECT 权限以及-- Grant SHARE privilege on datashares (replace with actual datashare names) GRANT SHARE ON your_datashare_name TO datahub;数据访问权限数据剖析与分类需要:::caution 数据访问 vs 元数据访问系统表权限只提供元数据访问。要启用数据剖析、分类或任何读取真实表数据的特性必须额外授予权限:::-- Grant USAGE privilege on schemas (required to access schema objects) GRANT USAGE ON SCHEMA public TO datahub; GRANT USAGE ON SCHEMA your_schema_name TO datahub; -- Grant SELECT privilege on existing tables for data access GRANT SELECT ON ALL TABLES IN SCHEMA public TO datahub; GRANT SELECT ON ALL TABLES IN SCHEMA your_schema_name TO datahub; -- Grant privileges on future objects (recommended for production) -- IMPORTANT: These must be run by each user who will create tables/views -- OR by a superuser with FOR ROLE clause -- Option 1: If you (as admin) will create all future tables/views: ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT ON TABLES TO datahub; ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT ON VIEWS TO datahub; -- Option 2: If other users will create tables/views, run this for each user: -- ALTER DEFAULT PRIVILEGES FOR ROLE other_user_name IN SCHEMA public GRANT SELECT ON TABLES TO datahub; -- Option 3: For all future users (requires superuser): -- ALTER DEFAULT PRIVILEGES FOR ALL ROLES IN SCHEMA public GRANT SELECT ON TABLES TO datahub;常见陷阱默认权限只对执行ALTER DEFAULT PRIVILEGES的用户创建的对象生效。如果 User A 执行了默认权限设置而 User B 创建了表DataHub 将无法访问 User B 的表除非使用了FOR ROLE或FOR ALL ROLES方案。备选方案是定时任务周期执行GRANT SELECT ON ALL TABLES IN SCHEMA your_schema_name TO datahub;来覆盖新建的表。连接配置示例完整 recipe 示例见 redshift_recipe.ymlsource: type: redshift config: # Coordinates host_port: example.something.us-west-2.redshift.amazonaws.com:5439 database: DemoDatabase # Credentials username: user password: pass # Options options: # driver_option: some-option include_table_lineage: true include_usage_statistics: true # Appends the domain to Redshift usernames to form DataHub user URNs (e.g. usernameemail_domain). # Used for both usage statistics and ownership extraction. email_domain: mydomain.com # Ownership extraction (disabled by default) # When enabled, extracts table/view/schema owners from pg_catalog.pg_user (no extra grants needed) # and emits them as TECHNICAL_OWNER in DataHub. Note: overwrites any manually-set owners on each run. # extract_ownership: true profiling: enabled: true # Only collect table level profiling information profile_table_level_only: true sink: # sink configs如果 Redshift 位于代理之后可通过options.connect_args传递驱动参数示例中为ssl_insecure完整可选参数见 redshift-connector 文档source: type: redshift config: host_port: my-proxy-hostname:5439 options: connect_args: ssl_insecure: false # Specifies if IDP hosts server certificate will be verified sink: # sink configs说明options.connect_args会被自动归一化到extra_client_options见 config.py 的connection_config_compatibility_set二者不可同时设置。连接默认使用redshiftredshift_connectorscheme其缓存行为优于裸 Postgres 方言config.py。限制Limitations模块行为受平台暴露的源 API、权限与元数据约束。请参考上文能力说明中标注为不支持或条件支持的功能血缘日志窗口仅 25至多 7天超出窗口的历史查询无法提取血缘stl_scan_based不支持 Spectrum 外部表且视图依赖会被穿透sql_based/mixed依赖 SQL 解析器特定查询可能解析失败外部表在profile_table_level_only: true下无法剖析profile.py所有权以覆盖模式应用会替换手动设置的所有者使用统计include_usage_statistics必须设置email_domain。故障排查Troubleshooting系统表访问SYSLOG ACCESSSYSLOG ACCESS UNRESTRICTED权限使用户可以看到其他用户产生的数据。例如STL_QUERY和STL_QUERYTEXT包含 INSERT、UPDATE、DELETE 语句的完整文本。SYSLOG ACCESS UNRESTRICTED打开的是查询日志表STL_*/SVL_*/SYS_QUERY_*系列因此datahub用户可以看到每个用户的查询。用户信息视图SVL_USER_INFO/SVV_USER_INFO仅用于给那些日志行补充用户名——它们从不决定哪些行被保留。内部rdsdb系统用户是按其系统用户 ID 显式排除的而不是通过用户名 join 排除。如果查询的用户无法在用户信息视图中解析——例如在某些 Redshift 版本中这些视图仅对超级用户/自身可见而datahub用户既非超级用户也缺少对这些视图的读权限——使用统计、血缘和操作信息仍然会被提取只是该行被归因到unknown用户使用统计或发出时不带 actor操作信息而不会被丢弃。为了完整的按用户归因请以超级用户身份运行摄取或授予datahub用户对用户信息视图的读权限。Datashare 血缘对于通过 datashare 的跨集群血缘datahub用户需要在生产方和消费方命名空间的 datashare 上都拥有SHARE权限。同时确认两个集群都已摄取、include_share_lineage: true已配置并已对生产方命名空间至少执行过一次摄取。Schema 发现问题如果按步骤设置后仍看不到全部 schema 或表请按以下顺序排查缺少 Schema1. 检查 schema 过滤配置# In your recipe, ensure schema patterns are correct schema_pattern: allow: - your_schema_name - public # Remove deny patterns that might be blocking schemas注意schema_pattern默认按 schema 名匹配若需按database.schema全限定名匹配请设置match_fully_qualified_names: true该配置未来将改为默认行为见 config.py 的向后兼容告警逻辑。2. 验证特定 schema 的权限-- Test if you can see schemas SELECT schema_name, schema_type FROM svv_redshift_schemas WHERE database_name your_database; -- Test external schemas SELECT schemaname, eskind, databasename FROM SVV_EXTERNAL_SCHEMAS;3. 检查外部 schema外部 schemaRedshift Spectrum需要两种权限GRANT SELECT ON pg_catalog.svv_external_schemas TO datahub_user; GRANT SELECT ON pg_catalog.svv_external_tables TO datahub_user; GRANT SELECT ON pg_catalog.svv_external_columns TO datahub_user;Schema 内缺少表1. 检查表过滤table_pattern: allow: - your_schema.your_table # Ensure no overly restrictive deny patterns2. 测试表可见性-- For regular tables SELECT schemaname, tablename, tabletype FROM pg_tables WHERE schemaname your_schema; -- For views SELECT schemaname, viewname FROM pg_views WHERE schemaname your_schema; -- For external tables SELECT schemaname, tablename FROM SVV_EXTERNAL_TABLES WHERE schemaname your_schema;配置问题1. 数据库指定确保连接的是正确的数据库——Redshift 摄取按数据库进行database: your_actual_database_name # Not the cluster name2. Schema 访问权限确保对待发现的 schema 有USAGE权限-- Check if you have USAGE on schemas SELECT n.nspname as schema_name, has_schema_privilege(datahub_user, n.nspname, USAGE) as has_usage FROM pg_catalog.pg_namespace n WHERE n.nspname NOT LIKE pg_% AND n.nspname ! information_schema; -- Grant USAGE if missing GRANT USAGE ON SCHEMA your_schema_name TO datahub_user;3. 共享数据库配置如果使用 datashare 消费方请添加is_shared_database: true权限测试查询-- Test core permissions SELECT COUNT(*) FROM svv_redshift_schemas WHERE database_name your_database; SELECT COUNT(*) FROM svv_table_info WHERE database your_database; -- Test external permissions SELECT COUNT(*) FROM svv_external_schemas; SELECT COUNT(*) FROM svv_external_tables;数据剖析问题剖析数据不出现1. 检查数据访问权限确保有 schema 的USAGE和表的SELECT权限-- Test schema access SELECT has_schema_privilege(datahub_user, your_schema, USAGE); -- Test table access SELECT has_table_privilege(datahub_user, your_schema.your_table, SELECT);2. 仅启用表级剖析如果无法授予表SELECT权限使用表级剖析profiling: profile_table_level_only: true血缘问题血缘信息缺失1. 检查血缘配置table_lineage_mode: stl_scan_based # or sql_based, mixed include_usage_statistics: true2. 验证 SYSLOG ACCESS-- Check if user has SYSLOG ACCESS SELECT usename, usesyslog FROM pg_user WHERE usename datahub_user; -- usesyslog should be t (true)跨集群血缘Datashare确保DataHub 用户在 datashare 上有SHARE权限生产方和消费方集群都已摄取配置中include_share_lineage: true。-- Check datashare access SELECT * FROM svv_datashares WHERE share_name your_share;小结DataHub 的 Redshift 模块是一套面向生产环境的能力完备的摄取方案按数据库粒度配合platform_instance组织多命名空间血缘方面提供stl_scan_based、sql_based、mixed三种收集器覆盖普通表、视图、Spectrum 外部表、COPY/UNLOAD、表重命名与 Datashare 跨集群场景使用统计、仅表级剖析与所有权提取均可按需精细化开启。部署时请优先依据能力表核对所需权限SYSLOG ACCESS UNRESTRICTED与pg_catalog/svv_*视图授权并注意血缘日志 27 天窗口、所有权覆盖写入与外部表剖析限制这几个关键约束。进一步深入可阅读 redshift_pre.md权限全量清单、redshift_recipe.yml可运行配置模板以及源码 config.py、lineage.py、usage.py、query.py 中的具体查询与实现。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考