使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16

查看更多 →

使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

文本向量化 功能介绍 将用户输入的文本转化成数字向量，多用于从向量化知识库中查询相似的文本。 URI POST https://aiae.appstage.myhuaweicloud.com/v1/embeddings 请求参数 表1 请求Header参数 参数 是否必选 参数类型

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表1。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见表3。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16

查看更多 →

使用GPTQ量化 当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ

查看更多 →

使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。多模态只支持hf上下载的awq权重，可跳过步骤一。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16

查看更多 →

使用AWQ量化 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingfac

查看更多 →

服务器 配置 进行数据库的设置或连接 最高权限的设置 设定合作伙伴的系统库 服务器部署项目 重启Tomcat服务 父主题： 实施步骤

查看更多 →

send cross tx 跨链交易失败。可能存在的原因： 无法连接跨链客户端。 无法生成交易ID。 发送跨链交易失败（例如：有错误的链代码或者函数信息、对方账户不存在、无对方账户相应链码的交易权限等）。 无法获取跨链响应。 权限不足。 表2 查询交易接口 错误码 响应示例 可能原因

查看更多 →

交易明细查询 合作伙伴可以在伙伴中心查看交易明细信息。 操作步骤 使用合作伙伴账号登录华为云。 单击页面右上角账号下拉框中的“伙伴中心”，进入伙伴中心。 在左侧的导航栏中选择“伙伴账务 > 云商店商品分账”，单击“交易明细查询”页签。 输入查询条件，筛选出需要查看的账单。 单击目标账单左侧的，查看该笔订单的账单详情。

查看更多 →

交易明细查询 交易明细只能查询到前一天24点前的交易数据。 操作步骤 使用合作伙伴账号登录华为云。 单击页面右上角账号下拉框中的“伙伴中心”，进入伙伴中心。 在顶部导航栏中选择“销售 > 机会点管理 > 云商店机会点专项激励”。 在“交易明细查询”页签中，可以根据账期、订单行号，交易日期搜索需要查看的账单。

查看更多 →

交易明细管理 交易明细查询 交易明细导出 父主题： 交易管理

查看更多 →

利用合约发送交易 合约调用信息构建。 接口方法 ContractRawMessage.class public RawMessage buildInvokeRawMsg(String chainId, String name, String function, String[] args)

查看更多 →

类型 说明 chainId String 链名称。 txHash byte[] 交易哈希。 返回值 类型 说明 RawMessage 根据交易ID查询交易执行结果需发送的消息。 消息发送。 接口方法 QueryAction.class public ListenableFuture<RawMessage>

查看更多 →

RawMessage 背书请求返回结果集合。 返回值 类型 说明 *TxRawMsg 包含交易hash的交易请求信息，该消息使用transaction接口发送。 error 构建成功返回类型为nil，反之返回error。 交易消息发送。 接口方法 func (action *ContractAction)

查看更多 →

chainID string 链名称。 txHash []byte 交易Hash。 返回值 类型 说明 *common.RawMessage 查询交易执行结果需发送的消息。 error 构建成功返回类型为nil，反之返回error。 消息发送。 接口方法 QueryAction.class

查看更多 →

利用合约发送交易 合约调用信息构建。 接口方法 ContractRawMessage.class public RawMessage buildInvokeRawMsg(String chainId, String name, String function, String[] args)

查看更多 →