为什么有时候用浮点数做等值比较查不到数据 原因分析 浮点数的等值比较问题是一种常见的浮点数问题。因为在计算机中，浮点数存储的是近似值而不是精确值，所以等值比较、数学运算等场景很容易出现预期外的情况。 MySQL中涉及浮点数的类型有float和double。如下示例中遇到的问题： 解决方案

查看更多 →

为什么有时候用浮点数做等值比较查不到数据 原因分析 浮点数的等值比较问题是一种常见的浮点数问题。因为在计算机中，浮点数存储的是近似值而不是精确值，所以等值比较、数学运算等场景很容易出现预期外的情况。 MySQL中涉及浮点数的类型有float和double。如下示例中遇到的问题： 解决方案

查看更多 →

为什么有时候用浮点数做等值比较查不到数据 原因分析 浮点数的等值比较问题是一种常见的浮点数问题。因为在计算机中，浮点数存储的是近似值而不是精确值，所以等值比较、数学运算等场景很容易出现预期外的情况。 MySQL中涉及浮点数的类型有float和double。如下示例中遇到的问题： 解决方案

查看更多 →

位置精度（position_confidence） 数值 含义 0 不具备或不可用 1 500米 2 200米 3 100米 4 50米 5 20米 6 10米 7 5米 8 2米 9 1米 10 0.5米 11 0.2米 12 0.1米 13 0.05米 14 0.02米 15

查看更多 →

固定精度型 名称 描述 存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位，但精度小于18位能保障性能最好。 Decimal有两个输入参数： precision：总位数，默认38 scale：小数部分的位数，默认0 说明： 如果小数位为零，即十进制（38

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。

查看更多 →

得到和标杆数据相同的输出，因此可以判断出转换得到的text_encoder模型是产生pipeline精度误差的根因。通过下一小节可以进一步确认模型精度的差异。 父主题： 模型精度调优

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC

查看更多 →

模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub - BradyFU/Awesome-Multimodal-Large-Language-Models at Evaluation）。 步骤一：配置精度测试环境 获取精度测试代码。精度测试代码存

查看更多 →

推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua

查看更多 →

推理精度测试 本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含

查看更多 →

推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证

查看更多 →

推理精度测试 本章节介绍如何使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证

查看更多 →

GaussDB数据库 差异 log2() 支持，存在差异 小数位显示与MySQL存在差异，受GaussDB浮点数据类型限制，可通过参数extra_float_digits控制小数位个数显示； 由于输入精度内部处理差异，GaussDB与MySQL会存在结果计算差异； 支持数据类型有： 整数类型：b

查看更多 →

GaussDB 数据库 差异 log2() 支持，存在差异 小数位显示与MySQL存在差异，受GaussDB浮点数据类型限制，可通过参数extra_float_digits控制小数位个数显示。 由于输入精度内部处理差异，GaussDB与MySQL会存在结果计算差异。 支持数据类型有： 整数类型：b

查看更多 →

GaussDB数据库 差异 log2() 支持，存在差异 小数位显示与MySQL存在差异，受GaussDB浮点数据类型限制，可通过参数extra_float_digits控制小数位个数显示； 由于输入精度内部处理差异，GaussDB与MySQL会存在结果计算差异； 支持数据类型有： 整数类型：b

查看更多 →

PLAIN、RLE、TS_2DIFF、GORILLA、FREQ、ZIGZAG FLOAT 单精度浮点数 PLAIN、RLE、TS_2DIFF、GORILLA、FREQ DOUBLE 双精度浮点数 PLAIN、RLE、TS_2DIFF、GORILLA、FREQ TEXT 字符串 PLAIN、DICTIONARY

查看更多 →

GaussDB数据库 差异 log2() 支持，存在差异 小数位显示与MySQL存在差异，受GaussDB浮点数据类型限制，可通过参数extra_float_digits控制小数位个数显示。 由于输入精度内部处理差异，GaussDB与MySQL会存在结果计算差异。 支持数据类型有： 整数类型：b

查看更多 →

4 bigint 大范围的整数，别名为INT8。 8 decimal 任意精度型。 可变长度 numeric 任意精度型。 可变长度 real 单精度浮点数。 4 double precision 双精度浮点数。 8 smallserial 二字节序列整型。 2 serial 四字节序列整型。

查看更多 →