中软国际数据治理专业服务解决方案实践

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表1。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

pe类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数： --kv-cache-dtype int8_pertensor #只支持int8，表示kvint8

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件。

查看更多 →

pe类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数： --kv-cache-dtype int8_pertensor #只支持int8，表示kvint8

查看更多 →

data must be int, float or bool” 问题现象 训练过程中出现如下报错： DataFrame.dtypes for data must be int, float or bool 原因分析 出现该问题的可能原因如下： 训练数据中出现了非int、float、bool类型数据。

查看更多 →

e_set("e",op_add(ct_int(v("a")), ct_int(v("b")))) 加工结果 { "a": 1, "b": 2, "d": 12, "e": 3 } 场景2：运用字段操作函数和ct_int函数进行类型转换并调用op_mul函数进行数据相乘。 示例如下所示： 原始日志

查看更多 →

获取结果集中的数据 ResultSet对象提供了丰富的方法，以获取结果集中的数据。获取数据常用的方法如表1所示，其他方法请参考JDK官方文档。 表1 ResultSet对象的常用方法 方法 描述 差异 int getInt(int columnIndex) 按列标获取int型数据。 -

查看更多 →

获取结果集中的数据 ResultSet对象提供了丰富的方法，以获取结果集中的数据。获取数据常用的方法如表1所示，其他方法请参考JDK官方文档。 表1 ResultSet对象的常用方法 方法 描述 差异 int getInt(int columnIndex) 按列标获取int型数据。 -

查看更多 →

获取结果集中的数据 ResultSet对象提供了丰富的方法，以获取结果集中的数据。获取数据常用的方法如表4所示，其他方法请参考JDK官方文档。 表4 ResultSet对象的常用方法 方法 描述 int getInt(int columnIndex) 按列标获取int型数据。 int

查看更多 →

获取结果集中的数据 ResultSet对象提供了丰富的方法，以获取结果集中的数据。获取数据常用的方法如表4所示，其他方法请参考JDK官方文档。 表4 ResultSet对象的常用方法 方法 描述 int getInt(int columnIndex) 按列标获取int型数据。 int

查看更多 →

获取结果集中的数据 ResultSet对象提供了丰富的方法，以获取结果集中的数据。获取数据常用的方法如表4所示，其他方法请参考JDK官方文档。 表4 ResultSet对象的常用方法 方法 描述 int getInt(int columnIndex) 按列标获取int型数据。 int

查看更多 →

获取结果集中的数据 ResultSet对象提供了丰富的方法，以获取结果集中的数据。获取数据常用的方法如表4所示，其他方法请参考JDK官方文档。 表4 ResultSet对象的常用方法 方法 描述 int getInt(int columnIndex) 按列标获取int型数据。 int

查看更多 →

获取结果集中的数据 ResultSet对象提供了丰富的方法，以获取结果集中的数据。获取数据常用的方法如表4所示，其他方法请参考JDK官方文档。 表4 ResultSet对象的常用方法 方法 描述 int getInt(int columnIndex) 按列标获取int型数据。 int

查看更多 →