更新时间:2026-08-13 GMT+08:00
约束限制
数据管理和分析过程中,为了确保数据的准确性和可追溯性,数据血缘解析成为了一个重要的工具。然而,在实际操作中,用户可能会遇到一些限制,建议用户在使用数据血缘解析功能时,提前了解并遵循以下约束限制,合理规划数据采集和SQL编写,以确保数据血缘解析的准确性和完整性。
约束限制
- 需要在数据目录先采集血缘涉及的所有表的元数据,否则数据目录血缘无法生成。
- CREATE TABLE语法数据目录不支持,数据地图血缘只支持表级血缘。
- 字段血缘需在SQL内明确指定字段,不支持*场景,如:insert into a select * from b;。
- 不支持常量和表、字段之间映射关系所产生的血缘,如:insert into a values ('CONSTANT');,仅支持表与表之间、字段与字段之间映射关系的血缘。
- 数据血缘是按单个SQL语句解析:
- 不支持set语句,如set search_path=dws,无法通过set指定schema为dws。
- 不支持解析临时表场景的传递血缘,如:with temp as select * from a;insert into b select * from temp; 无法解析出来a→b的传递血缘。
- 如果需要指定表的schema,sql中表名要按{schema}.{table}形式书写,否则血缘会在默认schema的表上。
- 字段血缘不支持使用窗口函数修饰的字段,如:insert into a select rank() over(id) from b;。
- 字段血缘不支持笛卡尔乘积场景,如:insert into a select * from b, c;。
- 血缘解析不支持case when内嵌子查询,如:insert into a select case when true then (select * from b) end;。
- DWS SQL血缘解析不支持partition for等DWS语法解析包不支持的语法。
- 集成作业血缘不支持源端配置自定义SQL抽取数据的血缘解析。
- MRS Spark语血缘解析场景,管理中心MRS Spark语连接的配置需要与MRS Hive保持一致。
- Hetu血缘解析仅支持表级和视图级,不支持字段级,当前仅支持Hive表。
- 数据目录不支持展示Hetu血缘,仅数据地图支持。
- 数据目录不支持Hetu离线元数据采集,仅支持Hive离线元数据采集。
- Hetu数据连接用的MRS集群和Hive元数据采集用的MRS集群需要保持一致。
- Hetu血缘sql需要显式指定库名。
- MRS Flink SQL血缘解析仅支持脚本内存在完整的create with + insert sql场景。
- MRS Flink SQL的connector有类型约束,当前flinkCreateSQL仅支持hudi connector。
父主题: 节点数据血缘