配置LakeFormation数据连接 LakeFormation概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 父主题： 管理 MRS 集群元数据

查看更多 →

区域、可用区和VPC。 如果MySQL数据源所在的主机开启了防火墙，其防火墙入方向和出方向规则均需要开放MySQL数据库端口的访问权限，允许 CDM 集群的地址访问。 CDM集群所在的安全组，入方向和出方向规则需允许MySQL数据库地址和端口访问。 如果使用公有网络作为连接代理，自建

查看更多 →

由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套 数据湖 服务，用于隔离开发和生产环境： 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、E CS ），如果使用两套集群， DataArts Studio 通过管理中心的创建数据连接区分开发环

查看更多 →

配置DataArts Studio数据连接参数 DWS数据连接参数说明 DLI 数据连接参数说明 MRS Hive数据连接参数说明 Apache Hive数据连接参数说明 MRS HBase数据连接参数说明 MRS Kafka数据连接参数说明 MRS Spark数据连接参数说明 MRS

查看更多 →

数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。

查看更多 →

点击右下角的【下一步】，配置采集规则。 解决方案工作台支持使用调研工具对源系统进行数据调研，支持配置数据调研规则，包含DB、表信息等采集周期和具体时间，如果未配置，则按默认规则进行数据采集。 DB采集：配置数据库采集时间，如：数据库类型，数据库表数，数据总量，采集时间。 表信息采集：配置表的采集时间。

查看更多 →

MongoDB数据连接参数说明 表1 MongoDB数据连接 参数 是否必选 说明 数据连接类型 是 MongoDB连接固定选择为MongoDB。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。

查看更多 →

。 在创建Doris连接前，需要先获取Doris集群部署的 服务器 IP地址和端口。 在创建HBase连接前，需要先获取HBase集群中至少一个ZooKeeper节点的IP地址和连接端口。 前提条件 已在源端元数据来源的环境中部署迁移工具Edge。 操作步骤 登录迁移中心管理控制台。

查看更多 →

创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？ 问题描述 创建Oracle数据连接，创建连接时测试连通性成功。 在连接管理界面中，测试Oracle数据连接失败。提示如下信息： “无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息

查看更多 →

Redis数据连接参数说明 表1 Redis数据连接 参数 是否必选 说明 数据连接类型 是 Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。

查看更多 →

ClickHouse 云数据库 MySQL 云数据库 GaussDB 云数据库 PostgreSQL 云数据库 GaussDB for Influx 云数据库 SQL Server 云搜索服务 Elasticsearch ECS自建数据源 前提条件 拥有 DLV FullAccess和VPCEndpoint

查看更多 →

创建DWS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和DWS集群网络互通才可以成功创建DWS连接，为确保两者网络互通，CDM集群必须和DWS集群处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。

查看更多 →

在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。 策略名称：例如“dev_visit_lakeformation” 策略配置方式：“可视化视图”或“JSON视图” 策略内容： 策略中必须包含“lakeformation:policy:export”和“lakeformati

查看更多 →

在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。 策略名称：例如“dev_visit_lakeformation” 策略配置方式：“可视化视图”或“JSON视图” 策略内容： 策略中必须包含“lakeformation:policy:export”和“lakeformati

查看更多 →

更新时间、软删除等等。 源系统和SDI层数据一致性检测 表数量对比 表内容对比 源系统表结构监控 在数据集成时，最重要的是数据不丢失、不失真、不乱码、源表数据结构不变化，否则会造成数据指标计算不准确。而数据集成服务的网络往往非常复杂，依赖于源系统和网络，因此在监控检测源系统和数据

查看更多 →

获取数据字段路径：支持数组、对象和值，配置方式类同rest-api数据源。 获取数据的路径：支持数组、对象和值，配置方式类同rest-api数据源。 输出字段：即接口中需要作为资产输出的字段，根据接口中的数据进行配置。 配置“输出配置”，如下图所示。 图9 输出配置 输出源：根据实际情况配置，本示例中配置为“资产”。

查看更多 →

在下拉框中选择数据连接类型。 可选择“PostgreSQL”。 HOST 是 “类型”选择“GaussDBV1”和“MySQL”时需设置的参数。输入目标数据库HOST。 PORT 是 “类型”选择“GaussDBV1”和“MySQL”时需设置的参数。输入目标数据库PORT。 DataBase

查看更多 →

。 在创建Doris连接前，需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前，需要先获取HBase集群中至少一个ZooKeeper节点的IP地址和连接端口。 前提条件 已在源端元数据来源的环境中部署迁移中心Agent。 操作步骤 登录迁移中心管理控制台

查看更多 →

新建DLI数据连接 连接DLI前，需要满足以下条件： 已创建好DLI的数据库和资源队列。 新建DLI数据源连接 登录DLV管理控制台。 在“我的数据”页面，单击页面最上方的工作空间下拉列表并选择所需访问的工作空间，然后单击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中，选择数据源类型“ 数据湖探索

查看更多 →

Ranger仅支持对接RDS服务MySQL数据库，版本号为：MySQL 5.7.x、MySQL 8.0。 Hive支持对接RDS服务MySQL和PostgreSQL数据库，版本号为：MySQL 5.7.x、MySQL 8.0和PostgreSQL14。 在RDS管理控制台，选择“实例管理”，选择MRS数据连接使用的

查看更多 →

L数据源所在的主机必须和CDM集群在相同的区域、可用区和VPC。 如果PostgreSQL数据源所在的主机开启了防火墙，其防火墙入方向和出方向规则均需要开放PostgreSQL数据库端口的访问权限，允许CDM集群的地址访问。 CDM集群所在的安全组，入方向和出方向规则需允许PostgreSQL数据库地址和端口访问。

查看更多 →