文档首页/ 迁移中心 MGC/ 用户指南/ 新版/ 迁移准备/ 部署MgC Agent(原Edge)
更新时间:2025-02-08 GMT+08:00
分享

部署MgC Agent(原Edge)

使用迁移中心的大数据相关功能前,需要先在可以访问源端数据来源的环境中部署MgC Agent。

MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。

准备工作

  • 建议在源端内网环境中准备一台用于安装MgC Agent的Linux主机,并确保该Linux主机满足以下要求:
    • 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名
    • 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵
    • 安全组的出方向规则中,需要包含8883端口。
    • 操作系统为:CentOS 8.x
    • 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G

    不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括:

    • 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。
    • 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。
  • 检查安装MgC Agent的Linux主机是否安装了rng-tools工具,通过以下命令检查:
    rpm -qa | grep rng-tools
    如果以上命令未返回rng-tools的信息,代表该主机未安装rng-tools工具,请使用如下命令来安装rng-tools工具。
    yum -y install rng-tools
  • 关闭安装MgC Agent的Linux主机上的杀毒、防护类软件,该类软件会拦截MgC Agent的执行,导致迁移工作流执行失败。
  • 在安装MgC Agent的主机安全组入网规则中,需要添加一条允许通过TCP协议访问27080端口的规则。源地址填写用于登录MgC Agent控制台的Windows主机IP地址。

  • 注册华为账号并开通华为云,并获取账号的AK/SK。
  • 已在MgC控制台创建迁移项目

下载并安装MgC Agent

  1. 使用在源端内网环境准备好的Linux主机,登录迁移中心管理控制台
  2. 在左侧导航栏单击“迁移中心Agent”,进入迁移中心Agent页面。
  3. 在Linux版区域,单击“下载安装包”或“复制下载命令”,将MgC Agent安装程序下载到Linux主机。
  4. 执行如下命令,解压MgC Agent安装包。

    tar zxvf Edge.tar.gz

  5. 执行如下命令,进入MgC Agent安装目录中的scripts目录。

    cd Edge/scripts/

  6. 执行如下命令,启动MgC Agent安装脚本。

    ./install.sh

  7. 输入Linux本机网卡的弹性公网IP地址作为后续访问MgC Agent页面的地址。如果输入的地址不在本机拥有的IP列表中,会提示是否开放本机所拥有的任何公网IP作为访问地址。

  8. 当出现如下图所示提示时,表示Linux版的MgC Agent已安装完成。其中提示的端口号请以实际情况为准(通常为27080)。

    执行如下命令,更新环境变量。

    source /etc/profile

  9. 安装完成后,在安全组入方向规则中添加的Windows主机上打开浏览器,输入地址“https://步骤7.输入的IP:步骤8.提示的端口号”,即可访问MgC Agent的用户注册页面。例如:步骤7输入的IP为192.168.x.x,步骤8提示的端口号为27080,则MgC Agent的访问地址为:https://192.168.x.x:27080。

    如果遇到访问问题,请检查IP地址的准确性以及安装MgC Agent的Linux主机安全组入网规则配置。

注册用户

首次登录,需注册用户名、密码。请妥善保存用户名和密码,避免丢失。

  1. 在用户注册页面,分别输入用户名、密码,确认密码无误后,单击《隐私政策声明》

  2. 仔细阅读《隐私政策声明》内容后,勾选“已阅读并同意《隐私政策声明》”并单击“注册”按钮。

    完成用户注册后,建议每3-6个月更换一次密码。

连接迁移中心

  1. 使用注册的用户名、密码登录MgC Agent控制台。
  2. 在总览页面,单击页面右上角的“连接”按钮,右侧弹出连接迁移中心页面。

    图1 连接迁移中心

  3. 第一步:输入云凭证区域,选择在MgC服务创建项目的区域,输入华为云账号的AK/SK,单击“查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。

    如果是进行主机迁移,输入的AK/SK需要具备SMS服务的相关权限。需要的权限和配置方法请参考SMS自定义策略

    您可以选择是否将输入的AK/SK保存为目的端凭证(推荐您选择“是”)。

    • 选择“否”,与迁移中心连接成功后,输入的AK/SK会被删除。
    • 选择“是”,与迁移中心连接成功后,输入的AK/SK会加密保存在本地,在后续进行迁移时,可以作为目的端凭证发送给源端SMS-Agent。

  4. 第二步:关联迁移中心项目区域的项目下拉列表中,选择MgC控制台所创建的迁移项目,MgC Agent会将采集数据上报到该项目。
  5. 第三步:预设当前迁移中心Agent名称区域,自定义MgC Agent在MgC控制台显示的名称,单击“连接”按钮,确认要与迁移中心进行连接,单击“确定”按钮。

    与迁移中心连接成功后,设置的MgC Agent名称不支持修改。

  6. 当总览页面显示状态为“已连接”,代表与MgC连接成功。

    图2 与MgC连接成功

添加资源凭证

支持在MgC Agent上添加凭证的资源类型包括:私有云、主机、大数据、容器。各资源类型包含的认证方式参见表1

表1 各资源认证方式

资源类型

认证方式

说明

公有云

  • AK/SK
  • 配置文件
  • ID/密钥
  • AK/SK适用于添加华为云阿里云AWS腾讯云、七牛云和金山云等云平台凭证。
  • 配置文件适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。
  • ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息

私有云

用户名/密码

输入源端私有云的登录用户名、密码。

数据库

用户名/密码

输入数据库的登录用户名、密码。

大数据-执行机

用户名/密码

输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。

例如:

  • 单个IP地址:192.168.10.10/32
  • IP地址段:192.168.52.0/24
  • 所有IP地址:0.0.0.0/0

大数据-Hive Metastore

用户名/密钥

凭证文件需要同时上传core-site.xml、hivemetastore-site.xml、hive-site.xml、krb5.conf、user.keytab五个文件。获取方式参见大数据-Hive Metastore凭证文件获取方法

大数据-数据湖搜索(DLI)

AK/SK

输入华为云账号的AK/SK。获取方法请参考如何获取AK/SK

大数据-MaxCompute

AK/SK

输入源端阿里云账号的AK/SK。获取方法请参考查看RAM用户的AccessKey信息

大数据-Doris

用户名/密码

输入登录Doris数据库的用户名、密码。

大数据-HBase

用户名/密钥

  • 非安全集群需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个文件。
  • 安全集群需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,krb5.conf,user.keytab,mapred-site.xml和hbase-site.xml等7个文件。

以上配置文件通常位于Hadoop和HBase安装目录的conf子目录下。

大数据-ClickHouse

用户名/密码

输入登录ClickHouse数据库的用户名、密码。

Windows主机

用户名/密码

输入源端主机的登录用户名、密码。网段限制填写网段地址,可以是单个IP地址或IP地址段。

例如:

  • 单个IP地址:192.168.10.10/32
  • IP地址段:192.168.52.0/24
  • 所有IP地址:0.0.0.0/0

Linux主机

  • 用户名/密码
  • 用户名/密钥
  • 选择用户名和密码时,输入源端主机的登录用户名、密码。
  • 选择用户名和密钥时,输入源端主机登录用户名、口令(密钥文件对应的密码)、上传.pem类型的密钥文件。
    须知:

    如果密钥文件未加密,则口令无需填写。

网段限制填写网段地址,可以是单个IP地址或IP地址段。例如:

  • 单个IP地址:192.168.10.10/32
  • IP地址段:192.168.52.0/24
  • 所有IP地址:0.0.0.0/0

容器

配置文件

配置文件格式必须为.json文件或.yml文件。

  1. 使用注册的用户名、密码登录MgC Agent控制台。
  2. 在左侧导航树选择“云边协同 > 凭证列表”,进入凭证列表页面。
  3. 单击列表上方的“创建凭证”按钮,弹出创建凭证窗口。

    图3 创建凭证

  4. 按照窗口提示,选择资源类型后,选择认证方式并输入相应凭证,凭证名称为用户自定义,单击“确认”。

    • 如果未连接迁移中心,添加的主机凭证可以用于本地主机深度采集。
    • 如果连接了迁移中心,系统会自动将添加的凭证同步至迁移中心。

相关文档