云数据迁移 CDM
云数据迁移 CDM

    本产品内“”的所有结果

      本产品内“”的所有结果

      • 最新动态
      • 功能总览
      • 产品介绍
        • 图解云数据迁移
        • 什么是云数据迁移
        • 产品优势
        • 支持的数据源
          • 支持的数据源(2.10.0.300)
          • 支持的数据源(2.9.3.300)
          • 支持的数据源(2.9.2.200)
          • 支持的数据类型
        • 应用场景
        • 基本概念
        • 区域和可用区
        • 迁移原理
        • 与其他云服务的关系
        • 约束与限制
        • 计费说明
        • 安全
          • 责任共担
          • 资产识别与管理
          • 身份认证与访问控制
          • 数据保护技术
          • 审计与日志
          • 服务韧性
          • 监控安全风险
          • 故障恢复
          • 更新管理
          • 认证证书
        • 配额说明
        • 权限管理
      • 快速入门
        • 场景介绍
        • 步骤1:创建集群
        • 步骤2:创建连接
        • 步骤3:创建并执行作业
        • 步骤4:查看作业运行结果
        • 入门实践
      • 用户指南
        • IAM权限管理
          • 创建IAM用户并授权使用CDM
          • 创建CDM自定义策略
        • 支持的数据源
          • 支持的数据源(2.10.0.300)
          • 支持的数据源(2.9.3.300)
          • 支持的数据源(2.9.2.200)
          • 支持的数据类型
        • 创建并管理CDM集群
          • 创建CDM集群
          • 解绑/绑定CDM集群的EIP
          • 重启CDM集群
          • 删除CDM集群
          • 下载CDM集群日志
          • 查看并修改CDM集群配置
          • 管理集群标签
          • 管理并查看CDM监控指标
            • CDM支持的监控指标
            • 设置CDM告警规则
            • 查看CDM监控指标
        • 在CDM集群中创建连接
          • 创建CDM与数据源之间的连接
          • 配置连接参数
            • OBS连接参数说明
            • PostgreSQL/SQLServer连接参数说明
            • 数据仓库服务(DWS)连接参数说明
            • 云数据库MySQL/MySQL数据库连接参数说明
            • Oracle数据库连接参数说明
            • DLI连接参数说明
            • Hive连接参数说明
            • HBase连接参数说明
            • HDFS连接参数说明
            • FTP/SFTP连接参数说明
            • Redis连接参数说明
            • DDS连接参数说明
            • CloudTable连接参数说明
            • MongoDB连接参数说明
            • Cassandra连接参数说明
            • DIS连接参数说明
            • Kafka连接参数说明
            • DMS Kafka连接参数说明
            • 云搜索服务(CSS)连接参数说明
            • Elasticsearch连接参数说明
            • 达梦数据库 DM连接参数说明
            • SAP HANA连接参数说明
            • 分库连接参数说明
            • MRS Hudi连接参数说明
            • MRS ClickHouse连接参数说明
            • 神通(ST)连接参数说明
            • LogHub(SLS)连接参数说明
            • Doris连接参数说明
            • YASHAN连接参数说明
          • 上传CDM连接驱动
          • 新建Hadoop集群配置
        • 在CDM集群中创建作业
          • 新建表/文件迁移作业
          • 新建整库迁移作业
          • 配置CDM作业源端参数
            • 配置OBS源端参数
            • 配置HDFS源端参数
            • 配置HBase/CloudTable源端参数
            • 配置Hive源端参数
            • 配置DLI源端参数
            • 配置FTP/SFTP源端参数
            • 配置HTTP源端参数
            • 配置PostgreSQL/SQL Server源端参数
            • 配置DWS源端参数
            • 配置SAP HANA源端参数
            • 配置MySQL源端参数
            • 配置Oracle源端参数
            • 配置分库源端参数
            • 配置MongoDB/DDS源端参数
            • 配置Redis源端参数
            • 配置DIS源端参数
            • 配置Kafka/DMS Kafka源端参数
            • 配置Elasticsearch/云搜索服务源端参数
            • 配置MRS Hudi源端参数
            • 配置MRS ClickHouse源端参数
            • 配置达梦数据库 DM源端参数
            • 配置LogHub(SLS)源端参数
            • 配置神通(ST)源端参数
            • 配置Doris源端参数
            • 配置YASHAN源端参数
          • 配置CDM作业目的端参数
            • 配置OBS目的端参数
            • 配置HDFS目的端参数
            • 配置HBase/CloudTable目的端参数
            • 配置Hive目的端参数
            • 配置MySQL/SQL Server/PostgreSQL目的端参数
            • 配置Oracle目的端参数
            • 配置DWS目的端参数
            • 配置DDS目的端参数
            • 配置Elasticsearch/云搜索服务(CSS)目的端参数
            • 配置DLI目的端参数
            • 配置MRS Hudi目的端参数
            • 配置MRS ClickHouse目的端参数
            • 配置MongoDB目的端参数
            • 配置Redis目的端参数
            • 配置Doris目的端参数
          • 配置CDM作业字段映射
          • 配置CDM作业定时任务
          • CDM作业配置管理
          • 管理单个CDM作业
          • 批量管理CDM作业
        • 查看审计日志
          • 如何查看审计日志
          • 支持云审计的关键操作
        • 关键操作指导
          • 增量迁移原理介绍
            • 文件增量迁移
            • 关系数据库增量迁移
            • HBase/CloudTable增量迁移
          • 时间宏变量使用解析
          • 事务模式迁移
          • 迁移文件时加解密
          • MD5校验文件一致性
          • 字段转换器配置指导
          • 新增字段操作指导
          • 指定文件名迁移
          • 正则表达式分隔半结构化文本
          • 记录数据迁移入库时间
          • 文件格式介绍
          • 不支持数据类型转换规避指导
          • 自动建表原理介绍
        • 使用教程
          • 创建MRS Hive连接器
          • 创建MySQL连接器
          • MySQL数据迁移到MRS Hive分区表
          • MySQL数据迁移到OBS
          • MySQL数据迁移到DWS
          • MySQL整库迁移到RDS服务
          • Oracle数据迁移到云搜索服务
          • Oracle数据迁移到DWS
          • OBS数据迁移到云搜索服务
          • OBS数据迁移到DLI服务
          • MRS HDFS数据迁移到OBS
          • Elasticsearch整库迁移到云搜索服务
      • 最佳实践
        • 使用教程
          • 创建MRS Hive连接器
          • 创建MySQL连接器
          • MySQL数据迁移到MRS Hive分区表
          • MySQL数据迁移到OBS
          • MySQL数据迁移到DWS
          • MySQL整库迁移到RDS服务
          • Oracle数据迁移到云搜索服务
          • Oracle数据迁移到DWS
          • OBS数据迁移到云搜索服务
          • OBS数据迁移到DLI服务
          • MRS HDFS数据迁移到OBS
          • Elasticsearch整库迁移到云搜索服务
        • 进阶实践
          • 增量迁移原理介绍
            • 文件增量迁移
            • 关系数据库增量迁移
            • HBase/CloudTable增量迁移
            • MongoDB/DDS增量迁移
          • 时间宏变量使用解析
          • 事务模式迁移
          • 迁移文件时加解密
          • MD5校验文件一致性
          • 字段转换器配置指导
          • 指定文件名迁移
          • 正则表达式分隔半结构化文本
          • 记录数据迁移入库时间
          • 文件格式介绍
        • 通过数据开发使用参数传递灵活调度CDM作业
        • 通过数据开发实现数据增量迁移
        • 通过CDM节点批量创建分表迁移作业
        • 贸易数据极简上云与统计分析
          • 贸易数据上云场景介绍
          • 操作流程概述
          • 使用CDM上传数据到OBS
            • 上传存量数据
            • 上传增量数据
          • 分析数据
        • 车联网大数据零丢失搬迁入湖
          • 车联网大数搬迁入湖简介场景介绍
          • 迁移准备
          • CDM迁移近一个月的数据
          • DES迁移一个月前的历史数据
          • MRS中恢复HBase表
      • 性能白皮书
        • 迁移作业原理
        • 性能调优
        • 参考:作业分片维度
        • 参考:CDM性能实测数据
      • 安全白皮书
        • 云数据迁移安全简介
        • 云数据迁移安全结论
      • API参考
        • 使用前必读
          • 概述
          • 终端节点
          • 项目ID和账号ID
          • 基本概念
        • API概览
        • 如何调用API
          • 构造请求
          • 认证鉴权
          • 返回结果
        • 应用示例
        • API
          • 集群管理
            • 查询集群详情
            • 删除集群
            • 查询所有可用区
            • 查询支持的版本
            • 查询版本规格
            • 查询规格详情
            • 查询所有集群的企业项目ID
            • 查询集群的企业项目ID
            • 查询集群实例信息
            • 修改集群
            • 重启集群
            • 启动集群
            • 停止集群(待下线)
            • 创建集群
            • 查询集群列表
          • 作业管理
            • 查询作业
            • 删除作业
            • 修改作业
            • 随机集群创建作业并执行
            • 停止作业
            • 指定集群创建作业
            • 启动作业
            • 查询作业状态
            • 查询作业执行历史
          • 连接管理
            • 创建连接
            • 查询连接
            • 删除连接
            • 修改连接
        • 公共数据结构
          • 连接参数说明
            • 关系数据库连接
            • OBS连接
            • HDFS连接
            • HBase连接
            • CloudTable连接
            • Hive连接
            • FTP/SFTP连接
            • MongoDB连接
            • Redis连接
            • Kafka连接
            • DIS连接
            • Elasticsearch/云搜索服务(CSS)连接
            • DLI连接
            • CloudTable OpenTSDB连接
            • DMS Kafka连接
          • 源端作业参数说明
            • 源端为关系数据库
            • 源端为对象存储
            • 源端为HDFS
            • 源端为Hive
            • 源端为HBase/CloudTable
            • 源端为FTP/SFTP
            • 源端为HTTP/HTTPS
            • 源端为MongoDB/DDS
            • 源端为Redis
            • 源端为DIS
            • 源端为Kafka
            • 源端为Elasticsearch/云搜索服务
          • 目的端作业参数说明
            • 目的端为关系数据库
            • 目的端为OBS
            • 目的端为HDFS
            • 目的端为Hive
            • 目的端为HBase/CloudTable
            • 目的端为DDS
            • 目的端为Elasticsearch/云搜索服务
            • 目的端为DLI
            • 目的端为DIS
          • 作业任务参数说明
        • 权限及授权项说明
        • 附录
          • 状态码
          • 错误码
      • SDK参考
        • SDK概述
      • 常见问题
        • 通用类
          1. CDM与其他数据迁移服务有什么区别,如何选择?
          2. CDM有哪些优势?
          3. CDM有哪些安全防护?
          4. 如何降低CDM使用成本?
          5. CDM未使用数据传输功能时,是否会计费?
          6. 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用?
          7. 如何查看套餐包的剩余时长?
          8. 套餐包到期未续订或按需资源欠费时,我的数据会保留吗?
          9. CDM可以跨账户使用吗?
          10. CDM集群是否支持升级操作?
          11. CDM迁移性能如何?
          12. CDM不同集群规格对应并发的作业数是多少?
          13. CDM集群可以关机吗?
        • 功能类
          1. 是否支持增量迁移?
          2. 是否支持字段转换?
          3. Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些?
          4. 数据源为Hive时支持哪些数据格式?
          5. 是否支持同步作业到其他集群?
          6. 是否支持批量创建作业?
          7. 是否支持批量调度作业?
          8. 如何备份CDM作业?
          9. 如何解决HANA集群只有部分节点和CDM集群网络互通?
          10. 如何使用Java调用CDM的Rest API创建数据迁移作业?
          11. 如何将云下内网或第三方云上的私网与CDM连通?
          12. CDM是否支持参数或者变量?
          13. CDM迁移作业的抽取并发数应该如何设置?
          14. CDM是否支持动态数据实时迁移功能?
          15. CDM是否支持集群关机功能?
          16. 如何使用表达式方式获取当前时间?
          17. 在创建迁移作业时,where语句参数中的时间格式是怎样的?
          18. CDM作业可以将源表中的字段注释迁移到目标端表吗?
          19. 如何查询数据连接创建人?
        • 故障处理类
          1. 日志提示解析日期格式失败时怎么处理?
          2. 字段映射界面无法显示所有列怎么处理?
          3. CDM迁移数据到DWS时如何选取分布列?
          4. 迁移到DWS时出现value too long for type character varying怎么处理?
          5. OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理?
          6. 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行?
          7. Oracle迁移到DWS报错ORA-01555
          8. MongoDB连接迁移失败时如何处理?
          9. Hive迁移作业长时间卡顿怎么办?
          10. 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理?
          11. MySQL迁移时报错“JDBC连接超时”怎么办?
          12. 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理?
          13. 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶?
          14. 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题?
          15. 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”?
          16. 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 怎么解决?
          17. 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理?
          18. 创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理?
          19. MySQL迁移时报错:invalid input syntax for integer: "true"
          20. 作业源端是Oracle时,运行时间过长报snapshot too old怎么解决?
          21. 整库迁移到Hive,报错Identifier name is too long如何处理?
          22. 迁移数据到DLI时有数据丢失怎么处理?
          23. 创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因?
          24. 作业配置表不存在时自动创建,目的端字段映射不出来怎么处理?
          25. 作业从旧集群导出,再导入到新的集群失败怎么解决?
          26. 迁移HDFS文件,报错无法获取块怎么处理?
          27. 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理?
          28. CDM作业管理访问不了,提示网络或服务器访问异常怎么处理?
          29. 通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败?
          30. CDM迁移DWS数据报错Read timedout怎么处理?
          31. CDM集群Hive连接无法查询库和表的内容
          32. 创建FusionInsight HDFS连接报错get filesystem怎么解决?
          33. Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决?
          34. 作业配置添加字段,MongoDB字段映射存在问题
          35. DLI外表(OBS文件)迁移DWS某字段转义,带有“\”
          36. 执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”
          37. 迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理?
          38. 迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理?
          39. 迁移MySql到DWS,TINYINT类型迁移报错
          40. 数据迁移前后数据量不一致是什么问题?
          41. 创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错
          42. 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在
          43. CSV数据类型插入MySQL报错invalid utf-8 charater string ''
          44. 定时任务失败,检查连接器连接存在问题
          45. 脏数据导致CSV数据类型问题插入MySQL报错
          46. 写ES报timeout waiting for connection from pool错误怎么解决?
          47. Oracle迁移到DWS报错ORA-01555
          48. FTP测试连通性失败,报服务器内部错误怎么解决?
          49. CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办?
          50. MRS Hive,MRS Kafka,MRS Hudi数据源创建连接时IP长度校验不通过,如何处理?
          51. CDM转换空字符串表达式StringUtils.defaultIfEmpty不生效怎么解决?
          52. 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决?
          53. 当MySQL、Oracle、PostgreSQL作为源端时,如果作业报错“Read timed out”怎么处理?
          54. RDS-Mysql和开源Mysql对于date类型的范围不一致,可能导致date数据转换异常
          55. 通过json方式导入的作业,sql server迁移到hive,执行作业报错
          56. Hudi源端的作业长时间处于BOOTING状态怎么解决?
          57. Hudi源端作业,读Hudi作业字段映射多了一列col,作业执行失败怎么处理?
          58. Hudi目的端的作业自动建表报错:schema不匹配,建表失败怎么办?
          59. Hudi目的端的作业失败,日志报错Read Timeout怎么解决?
          60. Hudi目的端的作业执行卡Running,读取行数写入行数相等且不再增加怎么解决?
          61. Hudi目的端的作业执行卡Running,数据写入行数一直显示为0如何处理?
          62. Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办?
          63. Hudi目的端的作业执行过程中,由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理?
          64. Doris测试连接失败超时或者报vpc 或者安全组是否连通?
          65. Doris测试连接报unrecogized ssl message时怎么办?
          66. Doris 测试连接报zeroDateTimeBehavior only acception values of convertToNull怎么办?
          67. Doris连接报错 Invalid type or not suppprted type怎么办?
          68. Doris写入数据时报错怎么办?
      • 文档下载
      • 通用参考
        • 产品术语
        • 云服务等级协议(SLA)
        • 白皮书资源
        • 支持区域
        • 系统权限