创建表组并添加数据表
将源端数据表加入表组中,为后续对数作业做准备。
- 每次最多支持导入10,000张表。
- 待导入的表必须属于同一个元数据来源。
- 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性,建议同一数据表加入的分组不超过3个,并避免加入对数标准相同的分组。
创建表组
- 登录迁移中心管理控制台。
- 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
- 在功能入口区域,单击“表管理”,进入表管理页面的表组页签。
- 单击“新增表组”,弹出新增表组窗口。
- 根据表1,配置参数。
表1 新增表组参数说明 参数
说明
表组名
用户自定义
元数据连接
根据实际需求,选择创建的源端连接。
注意:表组中的所有表必须来源于同一个元数据来源。
校验标准
选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。
说明(可选)
您可以输入用于区分表组的说明。
- 参数配置完成后,单击“确认”按钮,创建表组完成。在表组列表,可以查看创建的表组信息。
表组创建完成后,即可导入数据表并加入表组。
导入数据表并加入表组
- 在表管理页面,选择库表清单页签。
- 单击列表上方的“表管理 > 导入数据表”按钮,弹出导入数据表窗口。
- 选择元数据连接和要加入的表组名。
- 单击“模板下载”,将导入模板下载到本地。打开导入模板,将需要导入的数据表对应参数填写到模板内。
- 每个模板最多支持导入10,000张表。
- 同一表组内的表必须属于同一个元数据来源。
- 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。
- 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。
- 元数据连接为Delta(无元数据)或Hudi(无元数据)连接时,模板中的source_path和target_path参数为必填项。
- 模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。
- 上传成功后,单击“确认”按钮,系统开始导入。在库表清单列表中可以查看导入的数据表。
导出数据表
支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。
- 在表管理页面,选择库表清单页签。
- 单击列表上方的“导出 > 导出数据表”按钮,弹出导出窗口。
- 选择需要导出的数据表所在表组,单击“确认”。
- 导出完成后,单击“导出 > 导出管理”按钮,右侧弹出导出管理窗口。
- 单击操作列的“下载”,可以将导出的数据表下载到本地。