quantization_config=gptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。 quantized_model

查看更多 →

创建pod创建pod以用于后续进行模型量化 Step2 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。 方式一：从开源社区下载发布的AWQ量化模型。 https://huggingface

查看更多 →

quantization_config=gptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。 quantized_model

查看更多 →

quantization_config=gptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。 quantized_model

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考Step6

查看更多 →

--per-token：激活值量化方法，若指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，若指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考部署推理服务，使用量化后权重部署AWQ量化服务。

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）

查看更多 →

--per-token：激活值量化方法，如果指定则为per-token粒度量化，否则为per-tensor粒度量化。 --per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 启动smoothQuant量化服务。 参考部署推理

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）

查看更多 →

推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.911）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）

查看更多 →

推理模型量化 使用AWQ量化工具转换权重 使用SmoothQuant量化工具转换权重 使用kv-cache-int8量化 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

查看更多 →

托管云账户 选择云账户所在的云平台提供商 托管账户信息 父主题： 开启企业数字空间初始化

查看更多 →

5核，内存 1GB。 容器配置：在“我的镜像”选择已经制作好的镜像。 添加环境变量。 单击“高级设置”在环境变量中设置对接IoT的环境变量参数 NET_BRIDGE_ID：网桥ID。在界面配置获取，获取方式可见：说明。 NET_BRIDGE_SECRET：网桥密钥。在界面配置获取，获取方式可见：说明。

查看更多 →

委托管理 列出账号委托 父主题： API

查看更多 →

设置托管配置 开发过程中，您有任何问题可以在github上提交issue，或者在华为云 对象存储服务 论坛中发帖求助。 您可以通过set_bucket_website_configuration设置桶的托管配置。 配置默认主页错误页面和重定向规则 以下代码展示了如何配置默认主页、错误页面和重定向规则，参数描述如下表：

查看更多 →

清除托管配置 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 您可以通过delete_bucket_website_configuration清除桶的托管配置。以下代码展示了如何清除托管配置： 参数描述 字段名 类型 约束 说明

查看更多 →

网站文件托管 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管： 将网站文件上传至OBS的桶中，并设置对象MIME类型。 设置对象访问权限为公共读。

查看更多 →

网站文件托管 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管： 将网站文件上传至OBS的桶中，并设置对象MIME类型。 设置对象访问权限为公共读。

查看更多 →

设置托管配置 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.setBucketWebsite设置桶的托管配置。 配置默认主页和错误页面 以下代码展示了如何配置默认主页和错误页面：

查看更多 →