使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化

查看更多 →

to_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：

查看更多 →

PHP示例 本章节主要介绍使用PHP语言连接集群实例的方法。 前提条件 连接数据库的 弹性云服务器 必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you are trying

查看更多 →

使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。

查看更多 →

PHP示例 本章节主要介绍使用PHP语言连接单节点实例的方法。 前提条件 连接数据库的弹性 云服务器 必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you are trying

查看更多 →

PHP示例 本章节主要介绍使用PHP语言连接副本集实例的方法。 前提条件 连接数据库的弹性云 服务器 必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you are trying

查看更多 →

安装PHP 使用普通用户安装报错 CentOS Yum仓库中不存在某些依赖包 CentOS Yum源网络不通导致下载失败 Ubuntu apt-get缺失某些依赖软件包导致下载失败 部署应用中断 权限不够 参数含反斜杠“\”（特例） 环境下没有主机 环境不存在 windows主机部署应用失败

查看更多 →

选择当前资源类型为主机集群的环境，作为部署对象。 php版本 php的版本。 php安装路径 php的安装路径。 控制选项 配置是否启用该操作。 当前步骤部署失败后，应用是否继续部署后续的步骤。 配置是否使用sudo权限部署该步骤。 若在部署过程中遇到问题，可参考该步骤的常见问题解决办法。

查看更多 →

PHP示例 本章节主要介绍使用PHP语言连接单节点实例的方法。 前提条件 连接数据库的弹性云服务器必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you are trying

查看更多 →

to_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：

查看更多 →

to_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：

查看更多 →

PHP示例 本章节主要介绍使用PHP语言连接集群实例的方法。 前提条件 连接数据库的弹性云服务器必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you are trying

查看更多 →

Php类型 APM支持的Php类型 APM支持Php类应用，目前已支持多种主流框架、web服务器、通讯协议、数据库等，可实现应用轻松接入。 表1 skywalking探针Php组件和框架 探针类型 组件 版本 skywalking探针 PDO 0.1.0+ skywalking探针

查看更多 →

PHP示例 本章节主要介绍使用PHP语言连接副本集实例的方法。 前提条件 连接数据库的弹性云服务器必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you are trying

查看更多 →

PHP语言 √表示支持，×表示不支持 语言版本 是否支持 开发指导 PHP 7.3 √ 接口定义、有关SDK接口说明和开发指导请参见PHP函数开发指南。 父主题： 支持的编程语言

查看更多 →

本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc

查看更多 →

本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc

查看更多 →

式的镜像的相互转换。 zvhd和zvhd2是云服务内部自研格式，qemu-img工具无法识别这两种格式的镜像文件。如需将镜像文件转换为这两种格式，请使用自研qemu-img-hw工具，详细指导参见转换镜像格式（qemu-img-hw）。 vhd格式镜像在执行命令转换格式时请使用vpc代替。

查看更多 →

本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc

查看更多 →

本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc

查看更多 →

使用SmoothQuant量化工具转换权重 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表1。 本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。

查看更多 →