创建执行机连接
执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。
以下大数据组件需要通过创建执行机连接来进行数据校验:
- Hive Metastore
- Delta Lake(有元数据)
- Delta Lake(无元数据)
- Hudi(有元数据)
- Hudi(无元数据)
- 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。
- 源端和目的端执行机均需要创建连接。
操作步骤
- 登录迁移中心管理控制台。
- 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
- 在功能入口区域,单击“连接管理”,进入连接管理页面。
- 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。
- 根据实际情况选择执行机类型,单击“下一步”,根据表1,配置执行机参数。
表1 执行机参数配置说明 参数
配置说明
所属源
根据实际情况选择。
须知:CDH执行机只支持源端,MRS执行机支持源端和目的端。
连接名称
默认创建名称为“执行机类型-4位随机数(字母和数字)”,也可以自定义名称。
执行机凭证
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。
执行机IP
填写连接执行机的IP地址。
执行机连接端口
填写连接执行机的端口,默认为22端口。
安装目录
填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。
SQL文件地址
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。
须知:校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。
- 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。
- 测试连接通过后,单击“确认”按钮,创建执行机连接完成。
- 在连接管理页面,可以查看创建的执行机连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。