- 最新动态
- 功能总览
- 产品介绍
- 快速入门
- 用户指南
-
迁移中心Agent操作指南
- 迁移中心Agent概述
- 下载并安装MgC Agent(原Edge)
- 本地发现与采集
- 上云操作
- 云边协同
-
工具采集
- 创建工具采集任务
- 采集器管理
-
采集器参数配置说明
- K8S静态采集器(app-discovery-k8s)
- K8S conntrack采集器(app-discovery-k8s-conntrack)
- K8S pod网络采集器(app-discovery-k8s-pod-net)
- 进程与网络采集器(app-discovery-process-netstat)
- Windows进程与网络采集器(app-discovery-process-netstat-win)
- RabbitMQ采集器(app-discovery-rabbitmq)
- Kafka采集器(app-discovery-kafka)
- Eureka采集器(app-discovery-eureka)
- Redis采集器(app-discovery-redis)
- MongoDB采集器(app-discovery-mongodb)
- MySQL-generallog采集器(app-discovery-mysql-generallog)
- MySQL-jdbc采集器(app-discovery-mysql-jdbc)
- Nginx配置文件采集器(app-discovery-nginx)
- Cloud-vpc-log采集器(app-discovery-cloud-vpc-log)
- Nacos采集器(app-discovery-nacos)
- 应用配置采集器(app-discovery-application-config)
- 最佳实践
-
常见问题
- 安装MgC Agent(原Edge)的主机有哪些要求?
- 以兼容性模式运行程序
- MgC Agent(原Edge)设备离线原因
- MgC Agent(原Edge)安装完成后,无法启动
- 如何升级MgC Agent(原Edge)至最新版本?
- 如何卸载MgC Agent(原Edge)?
- 如何重启MgC Agent(原Edge)?
- 如何查询MgC Agent(原Edge)当前版本?
- 如何获取Linux版本的MgC Agent(原Edge)各种运行日志?
- 采集失败,提示:The collector is not installed如何处理?
- 大数据-Hive Metastore凭证文件获取方法
- MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理?
- AK/SK验证失败,如何处理?
- Windows服务器WinRM服务配置与故障排查
- 新增大数据校验数据连接时,凭证列表数据缺失
-
最佳实践
- 主机迁移权限配置
- 主机迁移相关最佳实践
- 存储迁移相关最佳实践
- 目的端主机磁盘缩容
- 调整目的端磁盘分区
- 采集Azure容器AKS资源
- 采集谷歌云 GCP容器GKE资源
- 采集AWS容器资源
- 自建Oracle调研评估指导
-
大数据迁移后数据校验
- MaxCompute迁移至DLI数据校验
- MRS ClickHouse迁移至MRS ClickHouse数据校验
- 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验
- 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
- 阿里云 ClickHouse迁移至CloudTable ClickHouse数据校验
- MRS Doris迁移至MRS Doris数据校验
- MRS Hive/CDH/EMR迁移至MRS Hive数据校验
- MaxCompute迁移至MRS Hive数据校验
- MRS HBase迁移至MRS HBase数据校验
- DeltaLake(有元数据)迁移至MRS DeltaLake数据校验
- DeltaLake(无元数据)迁移至MRS DeltaLake数据校验
- 不使用EIP场景下进行大数据数据迁移
- 大数据迁移驾驶舱
-
常见问题
- 产品咨询
- 网络配置
-
主机迁移工作流
- 迁移工作流状态为“运行中”,如何查看迁移进度?
- 迁移工作流状态一直处于“运行中”,如何判断迁移是否正常?
- 迁移工作流步骤执行失败,提示“Edge is not accessible ...”,如何处理?
- 迁移工作流步骤执行失败,提示“server require to bind credenlial first ...”,如何处理?
- 大批量主机同时迁移时,可能出现的异常问题
- 主机迁移工作流错误码处理方法汇总
- VMware主机迁移时,出现报错如何处理?
- MgC主机工作流资源与SMS迁移服务器列表之间的映射关系
- 为什么MgC迁移进度和SMS迁移进度显示不一致?
- sudo用户进行主机迁移时,主机迁移工作流校验源端环境失败
- 主机迁移运行到“启动迁移Agent”步骤时报错:System.OutOfMemoryException
- 主机迁移工作流步骤执行失败,失败原因:SMS-Workflow.0503:SMS migration task failed 'SMS.xxxx'
- 迁移完成后,目的端主机有磁盘处于未挂载状态
-
存储迁移
- 存储迁移的约束与限制有哪些?
- 迁移对源端和目的端有什么要求?
- 进行存储迁移时,如何选择集群规格?
- 影响大对象迁移速度的关键因素有哪些?
- 影响小对象迁移速度的关键因素有哪些?
- 如何监控和查看影响迁移速度的关键指标?
- 为什么存储迁移工作流进度长时间没有变化?
- 将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理?
- OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理?
- 关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明
- 如何解决迁移集群创建失败问题
- 如何获取微软云的访问凭证
- 存储工作流执行失败,列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”,如何处理?
- 存储类型介绍
- 迁移任务执行失败如何处理?
- 可用区迁移
- 上云调研
- 资源采集
- 规格评估
- 大数据数据迁移
- 大数据校验
- 错误码描述和处理方法
- 通用参考
链接复制成功!
部署MgC Agent(原Edge)
使用迁移中心的大数据相关功能前,需要先在可以访问源端数据来源的环境中部署MgC Agent。
MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。
准备工作
- 建议在源端内网环境中准备一台用于安装MgC Agent的Linux主机,并确保该Linux主机满足以下要求:
- 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。
- 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。
- 安全组的出方向规则中,需要包含8883端口。
- 操作系统为:CentOS 8.x
- 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。
注意:
不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括:
- 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。
- 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。
- 检查安装MgC Agent的Linux主机是否安装了rng-tools工具,通过以下命令检查:
rpm -qa | grep rng-tools
如果以上命令未返回rng-tools的信息,代表该主机未安装rng-tools工具,请使用如下命令来安装rng-tools工具。yum -y install rng-tools
- 关闭安装MgC Agent的Linux主机上的杀毒、防护类软件,该类软件会拦截MgC Agent的执行,导致迁移工作流执行失败。
- 在安装MgC Agent的主机安全组入网规则中,需要添加一条允许通过TCP协议访问27080端口的规则。源地址填写用于登录MgC Agent控制台的Windows主机IP地址。
- 已注册华为账号并开通华为云,并获取账号的AK/SK。
- 已在MgC控制台创建迁移项目。
下载并安装MgC Agent
- 使用在源端内网环境准备好的Linux主机,登录迁移中心管理控制台。
- 在左侧导航栏单击“迁移中心Agent”,进入迁移中心Agent页面。
- 在Linux版区域,单击“下载安装包”或“复制下载命令”,将MgC Agent安装程序下载到Linux主机。
- 执行如下命令,解压MgC Agent安装包。
tar zxvf Edge.tar.gz
- 执行如下命令,进入MgC Agent安装目录中的scripts目录。
cd Edge/scripts/
- 执行如下命令,启动MgC Agent安装脚本。
./install.sh
- 输入Linux本机网卡的弹性公网IP地址作为后续访问MgC Agent页面的地址。如果输入的地址不在本机拥有的IP列表中,会提示是否开放本机所拥有的任何公网IP作为访问地址。
- 当出现如下图所示提示时,表示Linux版的MgC Agent已安装完成。其中提示的端口号请以实际情况为准(通常为27080)。
执行如下命令,更新环境变量。
source /etc/profile
- 安装完成后,在安全组入方向规则中添加的Windows主机上打开浏览器,输入地址“https://步骤7.输入的IP:步骤8.提示的端口号”,即可访问MgC Agent的用户注册页面。例如:步骤7输入的IP为192.168.x.x,步骤8提示的端口号为27080,则MgC Agent的访问地址为:https://192.168.x.x:27080。
须知:
如果遇到访问问题,请检查IP地址的准确性以及安装MgC Agent的Linux主机安全组入网规则配置。
注册用户
首次登录,需注册用户名、密码。请妥善保存用户名和密码,避免丢失。
- 在用户注册页面,分别输入用户名、密码,确认密码无误后,单击《隐私政策声明》。
- 仔细阅读《隐私政策声明》内容后,勾选“我已阅读并同意《隐私政策声明》”并单击“注册”按钮。
注意:
完成用户注册后,建议每3-6个月更换一次密码。
连接迁移中心
- 使用注册的用户名、密码登录MgC Agent控制台。
- 在总览页面,单击页面右上角的“连接”按钮,右侧弹出连接迁移中心页面。
图1 连接迁移中心
- 在第一步:输入云凭证区域,选择在MgC服务创建项目的区域,输入华为云账号的AK/SK,单击“查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。
须知:
如果是进行主机迁移,输入的AK/SK需要具备SMS服务的相关权限。需要的权限和配置方法请参考SMS自定义策略。
您可以选择是否将输入的AK/SK保存为目的端凭证(推荐您选择“是”)。
- 选择“否”,与迁移中心连接成功后,输入的AK/SK会被删除。
- 选择“是”,与迁移中心连接成功后,输入的AK/SK会加密保存在本地,在后续进行迁移时,可以作为目的端凭证发送给源端SMS-Agent。
- 在第二步:关联迁移中心项目区域的项目下拉列表中,选择MgC控制台所创建的迁移项目,MgC Agent会将采集数据上报到该项目。
- 在第三步:预设当前迁移中心Agent名称区域,自定义MgC Agent在MgC控制台显示的名称,单击“连接”按钮,确认要与迁移中心进行连接,单击“确定”按钮。
注意:
与迁移中心连接成功后,设置的MgC Agent名称不支持修改。
- 当总览页面显示状态为“已连接”,代表与MgC连接成功。
添加资源凭证
支持在MgC Agent上添加凭证的资源类型包括:私有云、主机、大数据、容器。各资源类型包含的认证方式参见表1。
资源类型 |
认证方式 |
说明 |
---|---|---|
公有云 |
|
|
私有云 |
用户名/密码 |
输入源端私有云的登录用户名、密码。 |
数据库 |
用户名/密码 |
输入数据库的登录用户名、密码。 |
大数据-执行机 |
用户名/密码 |
输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。 例如:
|
大数据-Hive Metastore |
用户名/密钥 |
凭证文件需要同时上传core-site.xml、hivemetastore-site.xml、hive-site.xml、krb5.conf、user.keytab五个文件。获取方式参见大数据-Hive Metastore凭证文件获取方法。 |
大数据-数据湖搜索(DLI) |
AK/SK |
输入华为云账号的AK/SK。获取方法请参考如何获取AK/SK。 |
大数据-MaxCompute |
AK/SK |
输入源端阿里云账号的AK/SK。获取方法请参考查看RAM用户的AccessKey信息。 |
大数据-Doris |
用户名/密码 |
输入登录Doris数据库的用户名、密码。 |
大数据-HBase |
用户名/密钥 |
以上配置文件通常位于Hadoop和HBase安装目录的conf子目录下。 |
大数据-ClickHouse |
用户名/密码 |
输入登录ClickHouse数据库的用户名、密码。 |
Windows主机 |
用户名/密码 |
输入源端主机的登录用户名、密码。网段限制填写网段地址,可以是单个IP地址或IP地址段。 例如:
|
Linux主机 |
|
网段限制填写网段地址,可以是单个IP地址或IP地址段。例如:
|
容器 |
配置文件 |
配置文件格式必须为.json文件或.yml文件。 |
- 使用注册的用户名、密码登录MgC Agent控制台。
- 在左侧导航树选择“云边协同 > 凭证列表”,进入凭证列表页面。
- 单击列表上方的“创建凭证”按钮,弹出创建凭证窗口。
图2 创建凭证
- 按照窗口提示,选择资源类型后,选择认证方式并输入相应凭证,凭证名称为用户自定义,单击“确认”。
- 如果未连接迁移中心,添加的主机凭证可以用于本地主机深度采集。
- 如果连接了迁移中心,系统会自动将添加的凭证同步至迁移中心。