文档首页 > > 用户指南> 进阶指导> MD5校验文件一致性

MD5校验文件一致性

分享
更新时间:2020/10/23 GMT+08:00

CDM数据迁移以抽取-写入模式进行,CDM首先从源端抽取数据,然后将数据写入到目的端。在迁移文件到OBS时,迁移模式如图1所示。

图1 迁移文件到OBS

在这个过程中,CDM支持使用MD5检验文件一致性,配置参数如图2所示。

  • 抽取时
    • 校验CDM抽取的文件,是否与源文件一致。
    • 该功能由源端作业参数“MD5文件名后缀”控制,配置为源端文件系统中的MD5文件名后缀。
    • 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”,则只迁移有MD5值的文件至目的端,没有MD5值或者MD5不匹配的数据文件将迁移失败,MD5文件自身不被迁移。
    • 若未配置“MD5文件名后缀”,则迁移所有。
    • 该功能支持源端为OBS、FTP、SFTP、NAS、SFS、HTTP。
  • 写入时
    • 校验写入OBS的文件,是否与CDM抽取的文件一致。
    • 该功能由目的端作业参数“校验MD5值”控制,读取文件后写入OBS时,通过HTTP Header将MD5值提供给OBS做写入校验,并将校验结果写入OBS桶(该桶可以不是存储迁移文件的桶)。如果源端没有MD5文件则不校验。
    • 该功能目前只支持目的端为OBS。
图2 使用MD5校验文件一致性
  • 迁移文件到文件系统时,目前只支持校验CDM抽取的文件是否与源文件一致(即只校验抽取的数据)。
  • 迁移文件到OBS时,支持抽取和写入文件时都校验。
  • 如果选择使用MD5校验,则无法使用KMS加密
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问