文档首页/ 迁移中心 MGC/ 用户指南/ 大数据校验/ 创建表组并添加数据表
更新时间:2024-11-21 GMT+08:00
分享

创建表组并添加数据表

将源端数据表加入表组中,为后续对数作业做准备。

  • 每次最多支持导入10,000张表。
  • 待导入的表必须属于同一个元数据来源。
  • 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性,建议同一数据表加入的分组不超过3个,并避免加入对数标准相同的分组。

前提条件

创建表组

  1. 登录迁移中心管理控制台。
  2. 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目
  3. 功能入口区域,单击“表管理”,进入表管理页面的表组页签。
  4. 单击“新增表组”,弹出新增表组窗口。
  5. 根据表1,配置参数。

    表1 新增表组参数说明

    参数

    说明

    表组名

    用户自定义

    元数据连接

    根据实际需求,选择创建的源端连接

    注意:

    表组中的所有表必须来源于同一个元数据来源。

    校验标准

    选择可以接受的数据差异最大值(即错误容忍度)。MgC提供了多种类型的对数标准可供选择,关于对数标准的详细说明,可以单击新增表组弹窗中的“查看更多”进行查看。

    说明(可选)

    您可以输入用于区分表组的说明。

  6. 参数配置完成后,单击“确认”按钮,创建表组完成。在表组列表,可以查看创建的表组信息。

    表组创建完成后,即可导入数据表并加入表组

导入数据表并加入表组

  1. 表管理页面,选择库表清单页签。
  2. 单击列表上方的“表管理 > 导入数据表”按钮,弹出导入数据表窗口。
  3. 选择元数据连接和要加入的表组名。
  4. 单击“模板下载”,将导入模板下载到本地。打开导入模板,将需要导入的数据表对应参数填写到模板内。

    • 每个模板最多支持导入10,000张表。
    • 同一表组内的表必须属于同一个元数据来源。
    • 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。
    • 元数据连接为Delta(有元数据)Hudi(有元数据)连接时,模板中的source_path参数为必填项。
    • 元数据连接为Delta(无元数据)Hudi(无元数据)连接时,模板中的source_pathtarget_path参数为必填项。

  5. 模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。
  6. 上传成功后,单击“确认”按钮,系统开始导入。在库表清单列表中可以查看导入的数据表。

导出数据表

支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。

  1. 表管理页面,选择库表清单页签。
  2. 单击列表上方的“导出 > 导出数据表”按钮,弹出导出窗口。

  3. 选择需要导出的数据表所在表组,单击“确认”。
  4. 导出完成后,单击“导出 > 导出管理”按钮,右侧弹出导出管理窗口。
  5. 单击操作列的“下载”,可以将导出的数据表下载到本地。

相关文档