更新时间:2024-10-21 GMT+08:00

创建执行机连接

执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。

以下大数据组件需要通过创建执行机连接来进行数据校验:

  • Hive Metastore
  • Delta Lake(有元数据)
  • Delta Lake(无元数据)
  • Hudi(有元数据)
  • Hudi(无元数据)
  • 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。
  • 源端和目的端执行机均需要创建连接。

操作步骤

  1. 登录迁移中心管理控制台。
  2. 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目
  3. 功能入口区域,单击“连接管理”,进入连接管理页面。
  4. 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。
  5. 根据实际情况选择执行机类型,单击“下一步”,根据表1,配置执行机参数。

    表1 执行机参数配置说明

    参数

    配置说明

    所属源

    根据实际情况选择。

    须知:

    CDH执行机只支持源端,MRS执行机支持源端和目的端。

    连接名称

    默认创建名称为“执行机类型-4位随机数(字母和数字)”,也可以自定义名称。

    执行机凭证

    选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。

    执行机IP

    填写连接执行机的IP地址。

    执行机连接端口

    填写连接执行机的端口,默认为22端口。

    安装目录

    填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。

    SQL文件地址

    填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。

    须知:

    校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。

  6. 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。
  7. 测试连接通过后,单击“确认”按钮,创建执行机连接完成。
  8. 连接管理页面,可以查看创建的执行机连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。