- 最新动态
- 功能总览
- 产品介绍
- 快速入门
- 用户指南
-
迁移中心Agent操作指南
- 迁移中心Agent概述
- 下载并安装MgC Agent（原Edge）
- 本地发现与采集
- 上云操作
- 云边协同
-
工具采集
- 创建工具采集任务
- 采集器管理
-
采集器参数配置说明
- K8S静态采集器（app-discovery-k8s）
- K8S conntrack采集器（app-discovery-k8s-conntrack）
- K8S pod网络采集器（app-discovery-k8s-pod-net）
- 进程与网络采集器（app-discovery-process-netstat）
- Windows进程与网络采集器（app-discovery-process-netstat-win）
- RabbitMQ采集器（app-discovery-rabbitmq）
- Kafka采集器（app-discovery-kafka）
- Eureka采集器（app-discovery-eureka）
- Redis采集器（app-discovery-redis）
- MongoDB采集器（app-discovery-mongodb）
- MySQL-generallog采集器（app-discovery-mysql-generallog）
- MySQL-jdbc采集器（app-discovery-mysql-jdbc）
- Nginx配置文件采集器（app-discovery-nginx）
- Cloud-vpc-log采集器（app-discovery-cloud-vpc-log）
- Nacos采集器（app-discovery-nacos）
- 应用配置采集器（app-discovery-application-config）
- 最佳实践
-
常见问题
- 安装MgC Agent（原Edge）的主机有哪些要求？
- 以兼容性模式运行程序
- MgC Agent（原Edge）设备离线原因
- MgC Agent（原Edge）安装完成后，无法启动
- 如何升级MgC Agent（原Edge）至最新版本？
- 如何卸载MgC Agent（原Edge）？
- 如何重启MgC Agent（原Edge）？
- 如何查询MgC Agent（原Edge）当前版本？
- 如何获取Linux版本的MgC Agent（原Edge）各种运行日志？
- 采集失败，提示：The collector is not installed如何处理？
- 大数据-Hive Metastore凭证文件获取方法
- MgC Agent（原Edge）安装端口被占用，导致无法安装，如何处理？
- AK/SK验证失败，如何处理？
- Windows服务器WinRM服务配置与故障排查
- 新增大数据校验数据连接时，凭证列表数据缺失
-
最佳实践
- 主机迁移权限配置
- 主机迁移相关最佳实践
- 存储迁移相关最佳实践
- 目的端主机磁盘缩容
- 调整目的端磁盘分区
- 采集Azure容器AKS资源
- 采集谷歌云 GCP容器GKE资源
- 采集AWS容器资源
- 自建Oracle调研评估指导
-
大数据迁移后数据校验
- MaxCompute迁移至DLI数据校验
- MRS ClickHouse迁移至MRS ClickHouse数据校验
- 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验
- 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
- 阿里云 ClickHouse迁移至CloudTable ClickHouse数据校验
- MRS Doris迁移至MRS Doris数据校验
- MRS Hive/CDH/EMR迁移至MRS Hive数据校验
- MaxCompute迁移至MRS Hive数据校验
- MRS HBase迁移至MRS HBase数据校验
- DeltaLake（有元数据）迁移至MRS DeltaLake数据校验
- DeltaLake（无元数据）迁移至MRS DeltaLake数据校验
- 不使用EIP场景下进行大数据数据迁移
- 大数据迁移驾驶舱
-
常见问题
- 产品咨询
- 网络配置
-
主机迁移工作流
- 迁移工作流状态为“运行中”，如何查看迁移进度？
- 迁移工作流状态一直处于“运行中”，如何判断迁移是否正常？
- 迁移工作流步骤执行失败，提示“Edge is not accessible ...”，如何处理？
- 迁移工作流步骤执行失败，提示“server require to bind credenlial first ...”，如何处理？
- 大批量主机同时迁移时，可能出现的异常问题
- 主机迁移工作流错误码处理方法汇总
- VMware主机迁移时，出现报错如何处理？
- MgC主机工作流资源与SMS迁移服务器列表之间的映射关系
- 为什么MgC迁移进度和SMS迁移进度显示不一致？
- sudo用户进行主机迁移时，主机迁移工作流校验源端环境失败
- 主机迁移运行到“启动迁移Agent”步骤时报错：System.OutOfMemoryException
- 主机迁移工作流步骤执行失败，失败原因：SMS-Workflow.0503:SMS migration task failed 'SMS.xxxx'
- 迁移完成后，目的端主机有磁盘处于未挂载状态
-
存储迁移
- 存储迁移的约束与限制有哪些？
- 迁移对源端和目的端有什么要求？
- 进行存储迁移时，如何选择集群规格？
- 影响大对象迁移速度的关键因素有哪些？
- 影响小对象迁移速度的关键因素有哪些？
- 如何监控和查看影响迁移速度的关键指标?
- 为什么存储迁移工作流进度长时间没有变化？
- 将HTTP/HTTPS数据源迁移到OBS时，如果存在URL不同但对象名称相同的情况，会如何处理？
- OBS迁移到NAS，如果源端存在同名但大小写不同的对象，会如何处理？
- 关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明
- 如何解决迁移集群创建失败问题
- 如何获取微软云的访问凭证
- 存储工作流执行失败，列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”，如何处理？
- 存储类型介绍
- 迁移任务执行失败如何处理？
- 可用区迁移
- 上云调研
- 资源采集
- 规格评估
- 大数据数据迁移
- 大数据校验
- 错误码描述和处理方法
- 通用参考
展开导读
链接复制成功！
自定义参数说明
在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。
|
参数名称 |
取值范围 |
说明 |
是否必填 |
|---|---|---|---|
|
spark.dli.metaAccess.enable |
- |
填写true。 |
是 |
|
spark.dli.job.agency.name |
填写DLI委托权限名称。 |
||
|
mgc.mc2dli.data.migration.dli.file.path |
填写存放migration-dli-spark-1.0.0.jar包的OBS路径。例如：obs://mgc-test/data/migration-dli-spark-1.0.0.jar |
||
|
mgc.mc2dli.data.migration.dli.spark.jars |
填写存放fastjson-1.2.54.jar和datasource.jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] |
||
|
spark.sql.catalog.mc_catalog.tableWriteProvider |
填写tunnel |
专线迁移场景为必填 |
|
|
spark.sql.catalog.mc_catalog.tableReadProvider |
填写tunnel |
||
|
spark.hadoop.odps.end.point |
填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。例如：源端所在地域为“香港”，则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” |
||
|
spark.hadoop.odps.tunnel.end.point |
填写源端MaxCompute服务所在地域的VPC网络Tunnel Endpoin信息。各地域VPC网络Tunnel Endpoin信息请参考Endpoint对照表。例如：源端所在地域为“香港”，则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com” |
||
|
spark.hadoop.odps.tunnel.quota.name |
- |
填写访问MaxCompute使用的Quota名称。 |
否 |
|
mgc.mc2dli.data.migration.mc.external.table |
|
设置是否迁移外表。
|
否 |
|
sc_type |
A、B、C |
计算资源类型，目前指定参数A, B, C。如果不指定，则按最小类型创建。
|
否 |
|
executorCores |
1- 4 |
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 |
|
|
numExecutors |
1-100 |
Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 |
|
|
executorMemory |
1-16 G |
Spark应用的Executor内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 |
|
|
driverCores |
1-4 |
Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 |
|
|
driverMemory |
1-16 G |
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 |
|
|
hive.exec.dynamic.partition.mode |
|
选择使用“自定义过滤”迁移策略迁移动态分区数据时，请添加该参数并配置参数值为nonstric。 |
否 |
