- 最新动态
- 功能总览
- 产品介绍
- 快速入门
-
用户指南
- IAM权限管理
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务（DWS）连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务（CSS）连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通（ST）连接参数说明
- LogHub（SLS）连接参数说明
- Doris连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置达梦数据库 DM源端参数
- 配置LogHub（SLS）源端参数
- 配置神通（ST）源端参数
- 配置Doris源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 查看审计日志
- 关键操作指导
- 使用教程
- 最佳实践
- 性能白皮书
- 安全白皮书
- API参考
-
常见问题
- 通用类
-
功能类
- 是否支持增量迁移？
- 是否支持字段转换？
- Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
- 数据源为Hive时支持哪些数据格式？
- 是否支持同步作业到其他集群？
- 是否支持批量创建作业？
- 是否支持批量调度作业？
- 如何备份CDM作业？
- 如何解决HANA集群只有部分节点和CDM集群网络互通？
- 如何使用Java调用CDM的Rest API创建数据迁移作业？
- 如何将云下内网或第三方云上的私网与CDM连通？
- CDM是否支持参数或者变量？
- CDM迁移作业的抽取并发数应该如何设置？
- CDM是否支持动态数据实时迁移功能？
- CDM是否支持集群关机功能？
- 如何使用表达式方式获取当前时间？
- 在创建迁移作业时，where语句参数中的时间格式是怎样的？
- CDM作业可以将源表中的字段注释迁移到目标端表吗？
-
故障处理类
- 日志提示解析日期格式失败时怎么处理？
- 字段映射界面无法显示所有列怎么处理？
- CDM迁移数据到DWS时如何选取分布列？
- 迁移到DWS时出现value too long for type character varying怎么处理？
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理？
- Hive迁移作业长时间卡顿怎么办？
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
- MySQL迁移时报错“JDBC连接超时”怎么办？
- 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
- 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？
- 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
- 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
- 创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
- MySQL迁移时报错：invalid input syntax for integer: "true"
- 作业源端是Oracle时，运行时间过长报snapshot too old怎么解决？
- 整库迁移到Hive，报错Identifier name is too long如何处理？
- 迁移数据到DLI时有数据丢失怎么处理？
- 创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？
- 作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？
- 作业从旧集群导出，再导入到新的集群失败怎么解决？
- 迁移HDFS文件，报错无法获取块怎么处理？
- CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？
- 通过CDM从OBS迁移数据到DLI，同样的作业在新版本集群迁移失败？
- CDM迁移DWS数据报错Read timedout怎么处理？
- CDM集群Hive连接无法查询库和表的内容
- 创建FusionInsight HDFS连接报错get filesystem怎么解决？
- Mysql导入数据到DLI，快执行完时失败了提示Invoke DLI service api failed错误怎么解决？
- 作业配置添加字段，MongoDB字段映射存在问题
- DLI外表(OBS文件)迁移DWS某字段转义，带有“\”
- 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
- 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？
- 迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？
- 迁移MySql到DWS，TINYINT类型迁移报错
- 数据迁移前后数据量不一致是什么问题？
- 创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错
- 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在
- CSV数据类型插入MySQL报错invalid utf-8 charater string ''
- 定时任务失败，检查连接器连接存在问题
- 脏数据导致CSV数据类型问题插入MySQL报错
- 写ES报timeout waiting for connection from pool错误怎么解决？
- Oracle迁移到DWS报错ORA-01555
- FTP测试连通性失败，报服务器内部错误怎么解决？
- CDM连接RDS-Mysql ，除root用户外，其他用户都报错，怎么办？
- 通用参考
展开导读
链接复制成功！
权限管理
如果您需要对CDM集群，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制云资源的访问。
通过IAM，您可以在云账号中给员工创建IAM用户，并使用策略来控制其对云资源的访问范围。例如您的员工拥有CDM的使用权限，但是不希望其拥有删除CDM集群等高危操作的权限，那么您可以使用IAM为员工创建IAM用户，通过授予仅能使用CDM服务，但是不允许删除CDM集群的权限策略，实现控制其对CDM的使用范围。
如果云账号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用CDM的其它功能。
IAM是云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。关于IAM的详细介绍，请参见IAM产品介绍。
CDM权限
默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。
CDM部署时通过物理区域划分，为项目级服务，需要在各区域对应的项目中设置相关权限，并且该权限仅对此项目生效。如果需要所有区域都生效，则需要在所有项目都设置权限。访问CDM时，需要先切换至授权区域。
- 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。
- 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：不允许某用户组删除集群，仅允许CDM基本操作（如创建、查询作业等）。
|
系统角色/策略名称 |
描述 |
策略类别 |
|---|---|---|
|
CDM Administrator |
操作权限：
|
系统角色 |
|
CDM FullAccess |
CDM管理员权限，拥有CDM服务所有权限。 |
系统策略 |
|
CDM FullAccessExceptEIPUpdating |
拥有除绑定/解绑EIP外的所有CDM服务权限。 |
系统策略 |
|
CDM CommonOperations |
拥有CDM作业和连接的操作权限。 |
系统策略 |
|
CDM ReadOnlyAccess |
CDM服务只读权限，拥有该权限的用户仅能查看CDM集群、连接、作业。 |
系统策略 |
表2列出了CDM常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。
|
操作 |
CDM FullAccess |
CDM FullAccessExceptEIPUpdating |
CDM CommonOperations |
CDM ReadOnlyAccess |
|---|---|---|---|---|
|
创建集群 |
√ |
√ |
× |
× |
|
集群绑定/解绑EIP |
√ |
× |
× |
× |
|
查询集群列表 |
√ |
√ |
√ |
√ |
|
查询集群详情 |
√ |
√ |
√ |
√ |
|
重启集群 |
√ |
√ |
× |
× |
|
修改集群配置 |
√ |
√ |
× |
× |
|
删除集群 |
√ |
√ |
× |
× |
|
创建连接 |
√ |
√ |
√ |
× |
|
查询连接 |
√ |
√ |
√ |
√ |
|
修改连接 |
√ |
√ |
√ |
× |
|
删除连接 |
√ |
√ |
√ |
× |
|
创建作业 |
√ |
√ |
√ |
× |
|
查询作业 |
√ |
√ |
√ |
√ |
|
修改作业 |
√ |
√ |
√ |
× |
|
启动作业 |
√ |
√ |
√ |
× |
|
停止作业 |
√ |
√ |
√ |
× |
|
查询作业状态 |
√ |
√ |
√ |
√ |
|
查询作业执行历史 |
√ |
√ |
√ |
√ |
|
删除作业 |
√ |
√ |
√ |
× |
