-
使用kv-cache-int8量化
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务
来自：帮助中心 -
使用kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务
来自：帮助中心 -
使用kv-cache-int8量化
![]()
del_type修改为指定模型，如"llama"。 2、当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务
来自：帮助中心 -
AI特性函数
![]()
返回值类型：startup_time_accuracy FLOAT8, total_time_accuracy FLOAT8, rows_accuracy FLOAT8, peak_memory_accuracy FLOAT8 该函数当前版本不可用。 track_model_train_opt(ip
来自：帮助中心 -
使用kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务
来自：帮助中心 -
使用kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务
来自：帮助中心 -
使用kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务
来自：帮助中心 -
层次递归查询函数
![]()
参数col为在路径中显示的列的名称，只支持类型为CHAR、VARCHAR、NVARCHAR2、TEXT、INT1、INT2、INT4、INT8、FLOAT4、FLOAT8和NUMERIC的列，参数separator为路径节点之间的分隔符。当前该函数col输入不支持表达式输入，列内容与分隔符s
来自：帮助中心 -
类型转换函数
![]()
float4_bpchar(real) 描述：float4转换为bpchar。 参数：real 返回值类型：character float4_text(real) 描述：float4转换为text。 参数：real 返回值类型：text float4_varchar(real) 描述：float4转换为varchar。
来自：帮助中心 -
层次递归查询函数
![]()
参数col为在路径中显示的列的名称，只支持类型为CHAR、VARCHAR、NVARCHAR2、TEXT、INT1、INT2、INT4、INT8、FLOAT4、FLOAT8和NUMERIC的列，参数separator为路径节点之间的分隔符。当前该函数col输入不支持表达式输入，列内容与分隔符s
来自：帮助中心 -
使用kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
来自：帮助中心 -
类型转换函数
![]()
float4_bpchar(real) 描述：float4转换为bpchar。 参数：real 返回值类型：character float4_text(real) 描述：float4转换为text。 参数：real 返回值类型：text float4_varchar(real) 描述：float4转换为varchar。
来自：帮助中心 -
kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
来自：帮助中心 -
kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
来自：帮助中心 -
数据类型
![]()
取值范围：【-9223372036854775808，9223372036854775807】 浮点类型 Float32 单精度浮点数 同C语言Float类型，单精度浮点数在机内占4个字节，用32位二进制描述。 Float64 双精度浮点数 同C语言Double类型，双精度浮点数在机内占8个字节，用64位二进制描述。
来自：帮助中心 -
使用kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
来自：帮助中心 -
日志报错“DataFrame.dtypes for data must be int, float or bool”
![]()
be int, float or bool” 问题现象 训练过程中出现如下报错： DataFrame.dtypes for data must be int, float or bool 原因分析 出现该问题的可能原因如下： 训练数据中出现了非int、float、bool类型数据。
来自：帮助中心 -
数字操作函数和操作符
![]()
select int8('789'); int8 ------ 789 (1 row) openGauss=# select int8(99.9); int8 ------ 99 (1 row) float4(in) 描述：将传入参数转换为float4类型值并返回。
来自：帮助中心 -
使用kv-cache-int8量化
![]()
model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
来自：帮助中心 -
模型推理时，输出错误码17，是什么原因？
![]()
infer接口返回的是错误码，即int型的数字17。 解决措施 请检查您的模型输入和实际输入是否匹配，比如输入格式（YUV/RGB)、数据类型（float32/int8）。 例如，同一张图片，RGB格式与YUV格式大小相差一倍（YUV是RGB的两倍）。如果需要将RGB图片转为YUV，可以使用hilens
来自：帮助中心 -
DB2 for LUW->GaussDB(DWS)
![]()
BYTEA 支持 VARBINARY BYTEA 支持 REAL FLOAT4 支持 DOUBLE DOUBLE PRECISION 支持 SMALLINT INT2 支持 INTEGER INT4 支持 BIGINT INT8 支持 DECIMAL NUMERIC 支持 DECFLOAT
来自：帮助中心
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
