如何校验源端与目的端的数据一致性?
主机迁移服务提供了数据一致性校验功能,您可以在全量复制完成后,进行增量同步时,启用并配置该功能,对源端数据和目的端数据进行一致性校验。
注意事项
- 使用该功能前,建议停止源端业务(涉及数据库时需要关闭数据库程序,而不是暂停),否则源端数据一直发生变化,导致源端和目的端数据存在差异。
源端存在数据一直变化的目录,如:SMS-Agent的安装目录,/var/log系统日志目录等,属于正常现象,不代表主机迁移过程中产生了数据差异。
- 数据一致性校验时长与需要校验的文件个数、大小成正比,部分场景可能耗时较长,业务割接耗时会增加,需要您自行评估对业务的影响。
- 该功能可能占用较多的磁盘IO,请评估对源端业务的影响。
约束限制
- 该功能不适用于调整磁盘/分区的迁移场景,可能会出现因为两端对应路径无法准确映射而导致的数据校验差异。
- 该功能不适用于校验跨文件系统的文件或共享文件夹,可能会出现校验误差。
- 为保护源端业务的正常运行,每个目录最多只校验十万个文件。
- 为防止占用过多内存,只校验路径字符串长度小于1024字节的文件。
启用数据一致性校验
- 参考同步增量数据,打开“同步”窗口。
- 开启“是否校验数据一致性”功能,并输入需要进行数据一致性校验的目录路径。请务必输入正确路径,路径错误或路径下不存在文件时,校验结果中会显示校验文件数量为0。
- 需要校验的数据量越大,则一致性校验的用时越长,建议仅对关键目录进行校验。
- 为避免校验数据量过大,以下路径将被屏蔽:
- Linux系统的 "/","/etc","/dev","/sys", "/usr","/boot", "/run"目录。
- Windows系统的分区根目录,如:C:\,D:\;
- 选择校验模式。
- 快速校验:只比对文件的大小和最后修改时间。
- CRC校验:使用CRC64校验码对文件内容进行强校验。CRC校验需要以二进制形式扫描文件内容,占用磁盘IO性能较多且用时较长。
- (可选)选择是否启用复检。只有进行过至少一次一致性校验后,才可以打开复检选项,启用复检将只对上一次校验结果中不一致的文件进行校验。
- 配置完成后,单击“是”,开始增量数据同步并进行数据一致性校验。当同步及校验完成后,可以查看校验结果。
取消数据一致性校验
在开启校验数据一致性功能后,如果想要取消校验,请按如下步骤取消。
- 单击操作列的“更多>暂停”,将同步任务暂停。
- 同步任务暂停后,单击操作列的“开始”,弹出“开始”窗口,
- 关闭校验数据一致性功能,单击“是”,即可取消同步任务中的数据校验步骤。
查看校验结果
当同步及校验完成后,单击服务器操作列的“更多>管理迁移设置>查看校验结果”,可以查看一致性校验结果简报。
如果校验简报中的校验文件总数为0,表示配置的校验目录路径不存在或该路径下的文件总数为零。
在源端的SMS-Agent的安装目录下(Linux为*/SmsAgent/agent/Logs/;Windows为C://SMS-Agent-Py*/Logs),会生成一个名为"sms_cmp_result.log"的日志文件,其中包含了所有校验不一致的文件。
校验时间参考
下表为源端仅运行迁移业务的测试时长,仅供参考。
操作系统 |
系统规格 |
磁盘性能 |
校验时长(每100 G数据) |
---|---|---|---|
Windows |
2U4G |
5000IOPS/150MBPS |
约17分钟 |
Linux |
2U4G |
5000IOPS/150MBPS |
约13分钟 |
产品咨询 所有常见问题
- 主机迁移服务是否支持将阿里云、腾讯云等其他云服务商服务器迁移到华为云?
- 是否支持将华为云弹性云服务器迁移到本地或其他云服务商?
- 华为云技术人员是否可以帮我进行迁移
- 是否支持迁移到云耀服务器、专属主机、专属云、鲲鹏云服务器、裸金属服务器?
- 主机迁移服务是否支持断点续传?
- 如何迁移一个账号下的弹性云服务器到另一个账号下?
- 如何从一个区域迁移ECS到另一个区域下?
- 100元余额说明
- 迁移过程中对源端是否会有影响,是否会中断业务?
- 如何获取华为云账号的AK/SK?
- 如何获取IAM用户的AK/SK?
- 如何使用Linux非root用户迁移主机?
- 主机迁移服务会收集源端的哪些信息?
- 如何选择目的端服务器?
- 如何创建弹性云服务器?
- 什么是块迁移?
- 什么是有效块数据?
- 主机迁移服务与镜像迁移有什么区别?
- 为什么ECS控制台规格/镜像列显示的名称与源端的操作系统名称不一致?
- 如何判断迁移任务是否完成?
- 是否支持源端服务器中的部分业务上云?
- 目的端操作系统类型和源端操作系统类型是否可以不一致?
- 迁移后目的端服务器的规格会不会发生改变?
- Windows服务器安装Agent时如何选择“下载”,还是“下载sha256”?
- 华为云没有或者下架了源端操作系统的镜像,能否进行迁移?
- 主机迁移服务与IMS镜像服务的区别
- 如何使迁移后镜像名称与操作系统保持一致?
- 主机迁移服务涉及的快照有哪些?
- Linux文件级迁移,如何指定不迁移、不同步的文件目录
- 迁移完成后,目的端主机已启动并有新数据写入,再次进行源端增量数据同步,目的端新增数据会不会被源端数据覆盖?
- 目的端服务器的要求以及创建方法
- 主机迁移服务是否支持迁移自建的数据库、大数据以及网站等服务
- 是否支持使用企业联邦用户(虚拟IAM用户)的AK,SK进行SMS-Agent的启动鉴权?
- Linux文件级迁移完成后,进行同步操作时,如何设置只同步指定目录下的文件?
- 源端服务器SSH端口非默认,是否影响迁移?
- 如何获取SMS域名?
- Linux块迁移,默认资源占用情况说明
- Linux块迁移,配置数据是否压缩?
- 关于迁移完成后,Windows系统、软件的激活说明
- 如何解决Linux主机迁移后时间异常问题?
- 如何设置Linux文件级迁移,多进程个数?
- 关于Linux主机增量同步时,默认不同步的目录说明
- 如何校验源端与目的端的数据一致性?
- 迁移可以使用临时AK/SK吗?
more