- 最新动态
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- IAM权限管理
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务(DWS)连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务(CSS)连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通(ST)连接参数说明
- LogHub(SLS)连接参数说明
- Doris连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置达梦数据库 DM源端参数
- 配置LogHub(SLS)源端参数
- 配置神通(ST)源端参数
- 配置Doris源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 查看审计日志
- 关键操作指导
- 使用教程
- 最佳实践
- 性能白皮书
- 安全白皮书
- API参考
- SDK参考
-
常见问题
- 通用类
-
功能类
- 是否支持增量迁移?
- 是否支持字段转换?
- Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些?
- 数据源为Hive时支持哪些数据格式?
- 是否支持同步作业到其他集群?
- 是否支持批量创建作业?
- 是否支持批量调度作业?
- 如何备份CDM作业?
- 如何解决HANA集群只有部分节点和CDM集群网络互通?
- 如何使用Java调用CDM的Rest API创建数据迁移作业?
- 如何将云下内网或第三方云上的私网与CDM连通?
- CDM是否支持参数或者变量?
- CDM迁移作业的抽取并发数应该如何设置?
- CDM是否支持动态数据实时迁移功能?
- CDM是否支持集群关机功能?
- 如何使用表达式方式获取当前时间?
- 在创建迁移作业时,where语句参数中的时间格式是怎样的?
- CDM作业可以将源表中的字段注释迁移到目标端表吗?
- 如何查询数据连接创建人?
-
故障处理类
- 日志提示解析日期格式失败时怎么处理?
- 字段映射界面无法显示所有列怎么处理?
- CDM迁移数据到DWS时如何选取分布列?
- 迁移到DWS时出现value too long for type character varying怎么处理?
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理?
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行?
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理?
- Hive迁移作业长时间卡顿怎么办?
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理?
- MySQL迁移时报错“JDBC连接超时”怎么办?
- 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理?
- 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶?
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题?
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”?
- 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决?
- 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理?
- 创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理?
- MySQL迁移时报错:invalid input syntax for integer: "true"
- 作业源端是Oracle时,运行时间过长报snapshot too old怎么解决?
- 整库迁移到Hive,报错Identifier name is too long如何处理?
- 迁移数据到DLI时有数据丢失怎么处理?
- 创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因?
- 作业配置表不存在时自动创建,目的端字段映射不出来怎么处理?
- 作业从旧集群导出,再导入到新的集群失败怎么解决?
- 迁移HDFS文件,报错无法获取块怎么处理?
- 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理?
- CDM作业管理访问不了,提示网络或服务器访问异常怎么处理?
- 通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败?
- CDM迁移DWS数据报错Read timedout怎么处理?
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决?
- Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决?
- 作业配置添加字段,MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义,带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理?
- 迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理?
- 迁移MySql到DWS,TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题?
- 创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错
- 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败,检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决?
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败,报服务器内部错误怎么解决?
- CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办?
- MRS Hive,MRS Kafka,MRS Hudi数据源创建连接时IP长度校验不通过,如何处理?
- CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决?
- 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决?
- 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理?
- RDS-Mysql和开源Mysql对于date类型的范围不一致,可能导致date数据转换异常
- 通过json方式导入的作业,sql server迁移到hive,执行作业报错
- Hudi源端的作业长时间处于BOOTING状态怎么解决?
- Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理?
- Hudi目的端的作业自动建表报错:schema不匹配,建表失败怎么办?
- Hudi目的端的作业失败,日志报错Read Timeout怎么解决?
- Hudi目的端的作业执行卡Running,读取行数写入行数相等且不再增加怎么解决?
- Hudi目的端的作业执行卡Running,数据写入行数一直显示为0如何处理?
- Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办?
- Hudi目的端的作业执行过程中,由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理?
- 文档下载
- 通用参考
链接复制成功!
创建MRS Hive连接器
MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。
前提条件
- 已创建CDM集群。
- 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。
- MRS集群和CDM集群之间网络互通,网络互通需满足如下条件:
新建MRS hive连接
- 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。
- 连接器类型选择“MRS Hive”后单击“下一步”,配置MRS Hive连接的参数,如图2所示。
- 单击“显示高级属性”可查看更多可选参数,这里保持默认,必填参数如下表所示。
表1 MRS Hive连接参数 参数名
说明
取值样例
名称
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
hivelink
Manager IP
MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。说明:当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。
127.0.0.1
认证类型
访问MRS的认证类型:- SIMPLE:非安全模式选择Simple鉴权。
- KERBEROS:安全模式选择Kerberos鉴权。
SIMPLE
Hive版本
Hive的版本。根据服务端Hive版本设置。
HIVE_3_X
用户名
选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。说明:- 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。
- 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manager_administrator或System_administrator权限,才能在CDM创建连接。
- 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
cdm
密码
访问MRS Manager的用户密码。
-
开启LDAP认证
通过代理连接的时候,此项可配置。
当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。
否
LDAP用户名
当“开启LDAP认证”参数选择为“是”时,此参数是必选项。
填写为MRS Hive开启LDAP认证时配置的用户名。
-
LDAP密码
当“开启LDAP认证”参数选择为“是”时,此参数是必选项。
填写为MRS Hive开启LDAP认证时配置的密码。
-
OBS支持
需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。
否
访问标识(AK)
当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限,否则会无法访问OBS并报“403 AccessDenied”错误。
您需要先创建当前账号的访问密钥,并获得对应的AK和SK。
- 登录控制台,在用户名下拉列表中选择“我的凭证”。
- 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图3所示。
- 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。
说明:
- 每个用户仅允许新增两个访问密钥。
- 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。
-
密钥(SK)
-
运行模式
“HIVE_3_X”版本支持该参数。支持以下模式:- EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
- STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。
说明:
STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。
EMBEDDED
检查Hive JDBC连通性
是否需要测试Hive JDBC连通。
否
是否使用集群配置
您可以通过使用集群配置,简化Hadoop连接参数配置。
否
集群配置名
仅当“是否使用集群配置”为“是”时,此参数有效。此参数用于选择用户已经创建好的集群配置。
集群配置的创建方法请参见管理集群配置。
hive_01
单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。
- 单击“保存”回到连接管理界面,完成MRS Hive连接器的配置。