文档首页/ 迁移中心 MGC/ 常见问题/ 大数据校验/ Hive校验的sum统计结果显示未达标
更新时间:2024-10-16 GMT+08:00
分享

Hive校验的sum统计结果显示未达标

问题描述

对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。

问题分析

使用spark-sql 客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。

这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值(1.7976931348623157E+308)的数据时,加上一个较小的数值(如2.0)可能会导致数值溢出,使得结果保持不变。这是double类型在处理极大数值时溢出的常见现象。

相关文档