for MySQL数据库代理支持权重负载和负载均衡路由模式，可根据需要配置不同的路由模式。 权重负载：根据您设置的读权重比例分发读请求。 负载均衡：根据数据库节点的活跃连接数情况进行读请求分发，将读请求分发到活跃连接数较少的节点上。负载均衡模式不需要修改权重。 更多关于路由模式的内容请参见设置延时阈值和路由模式。

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →

，W8A8可实现8-bit权重、8-bit激活（W8A8）量化，引入平滑因子来平滑激活异常值，将量化难度从较难量化的激活转移到容易量化的权重上。 AWQ-W4A16：AWQ是一种大模型低比特权重的训练后量化（PTQ）方法，W4A16可实现4-bit权重、16-bit激活（W4A1

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →

为什么通过负载均衡无法访问后端业务？ 问题描述 当出现以下问题时，可以参考本章节排查解决。 可以直接访问后端业务，但是无法通过负载均衡访问后端业务。 通过私网IP可以访问负载均衡，但是公网IP无法访问负载均衡。 后端 服务器 健康检查异常。 背景介绍 客户端通过负载均衡访问服务器示意图如图1。

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行预训练任务。如果未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

修改TaurusDB读写分离权重 开通数据库代理后，您可以根据需要修改读写分离的读权重。读请求会按照读权重分发到各个节点，进行读写分离，降低主节点的负载。 使用须知 仅权重负载的路由模式支持修改读权重。 主节点和只读节点均可以设置读权重。 主节点的读权重值越高，处理的读请求越多，主节点的读权重值默认为0。

查看更多 →

ai/en/latest/quantization/auto_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_too

查看更多 →

Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入llm_tools代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。

查看更多 →

数据库代理路由模式。取值： 0：表示权重负载模式。 1：表示负载均衡模式（数据库主节点不接受读请求）。 2：表示负载均衡模式（数据库主节点接受读请求）。 如需使用负载均衡模式，请联系客服申请 nodes_read_weight 是 Array of objects 数据库节点的读权重设置。详情请参见表3。

查看更多 →

ai/en/latest/quantization/auto_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_too

查看更多 →

Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的

查看更多 →

在“从环境外部访问本组件”页面，选择“负载均衡与路由配置”，并单击“添加负载均衡与路由配置”。 在“新增负载均衡与路由配置”页面，选择负载均衡器并参考表2配置负载均衡策略。 表1 选择负载均衡器 参数 参数说明 负载均衡器 支持“独享型”和“内置负载均衡器”。 选择“内置负载均衡器”，只支持基于EIP公网访问。

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →