数据验证

迁移完成后，需要对源端和目的端数据做一致性比对，对于数据一致性比对的精度，不同的场景有不同的要求。一般来说，核心业务的数据库表要求源端和目的端100%一致；对于大数据类业务中的部分场景，例如用户画像计算等，可以约定原始数据90%一致。如下是一个参考标准，可根据实际情况调整：

数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同：

• 数据库数据一致性验证的方法如下表所示。

  表2 数据库一致性对比方式

  对比项	工具	描述
  库和表级内容对比	DRS工具	查询对比数据库表的每一条数据，确保每一条的每一个字段都与源端数据库表一致。相较于行对比，内容对比较慢。
  	python脚本	根据DRS任务的ID，调用接口批量执行对比任务，对比结果输出到xlsx文件中。相比于工具可批量执行，执行效率较高。
  库和表级对象对比	DRS工具	对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。
  	python脚本	根据DRS任务的ID，调用接口批量执行对比任务，对比结果输出到xlsx文件中。相比于工具，可批量执行，执行效率较高。
  库和表级行数对比	DRS工具	对比表的行数是否一致，只查询表的行数，对比速度较快
  	python脚本	批量脚本，创建N个并发任务线程，遍历所有表进行逐一COUNT，输出对比结果到xlsx文件中，相比于工具可批量执行，执行效率较高。

• 中间件数据一致性验证的方法如下表所示：

  表3 中间件一致性对比方式

  对比项	工具	描述
  Keys数量对比	redis-cli	通过redis-cli命令info keyspace查看keys参数和expires参数的值，对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致，则表示Keys数量一致，迁移正常。
  Key-value内容对比	开源Redis-Full-Check工具	通过全量对比源端和目的端redis中的数据内容的方式来进行数据校验，其工具实现方式会多次抓取源和目的端的数据进行差异化比较，记录不一致的数据进入下轮对比。然后通过多轮比较不断收敛。最后sqlite中存在的数据就是最终的差异结果，无内容则表示数据内容完整，迁移正常。

• 文件类数据一致性验证的方法如下表所示：

  表4 文件数据一致性对比方式

  类型	对比项	工具	描述
  对象存储	对象数量	OMS	OMS迁移工具，通过MD5校验文件完整性和比对两边桶对象数据量是否一致。
  文件存储	文件数量	rclone	Rclone迁移工具，使用MD5哈希值来验证文件的完整性。同步后会再对比源端和目的端文件数量。
  		rsync	rsync迁移工具，使用MD5哈希值来验证文件的完整性，如果校验和不匹配，则rsync会重新传输该文件，以确保数据一致性。同步后会再对比源端和目的端文件数量。
  	文件大小	python脚本	迁移完成后，通过对比源端和目的端总文件大小判断是否一致。
  	文件内容	python脚本	迁移完成后，通过计算源端和目的端文件的哈希值，比较两个文件的哈希值是否一致。