设置读写分离权重 开通读写分离 功能后，您可以根据需要设置读写分离的读权重。调整数据库节点及读权重在“路由模式”进行设置。 功能描述 读写分离功能成功开启后，主节点和只读节点均可以设置读权重。 主节点的读权重值越高，处理的读请求越多，主节点的读权重值默认为0。 当所有节点的读权重均为0时

查看更多 →

设置读写分离权重 功能介绍 设置读写分离权重。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/instances/{instance_id}/proxy/{proxy_id}/weight 表1 路径参数 参数 是否必选 参数类型 描述 project_id

查看更多 →

修改读写分离权重 功能介绍 修改指定实例的读写分离权重。 该接口计划于2024-04-30下线。 调用接口前，您需要了解API 认证鉴权。 调试 您可以在 API Explorer 中调试该接口。 接口约束 该接口仅支持RDS for PostgreSQL 11、RDS for PostgreSQL

查看更多 →

训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf

查看更多 →

训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf

查看更多 →

查询应用实例级/项目级权限矩阵 功能介绍 查询应用实例级/项目级权限矩阵，传递app_id时，查询应用实例级权限矩阵；未传app_id，传递project_id时，查询应用项目级权限矩阵。 调用方法 请参见如何调用API。 URI GET /v3/applications/permissions

查看更多 →

SFT全参微调权重转换 增量训练前需将HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。

查看更多 →

获取授权重定向URL 功能介绍 获取授权重定向URL。 调试 您可以在API Explorer中调试该接口。 URI GET /v1/{project_id}/git/auths/{repo_type}/redirect 参数说明见表1。 表1 路径参数 参数 是否必选 参数类型

查看更多 →

SFT全参微调权重转换 SFT全参微调需将HuggingFace格式权重转换为megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

UserCF算法生成的用户-物品列表候选集。 基于交替最小二乘的矩阵分解推荐 基于交替最小二乘的矩阵分解推荐：基于用户-物品的行为信息作为原始矩阵，利用ALS优化算法对原始矩阵进行矩阵分解，分解之后的用户隐向量矩阵和物品隐向量矩阵可以用来生成预估的新的用户-物品评分矩阵，提取出评分最高的若干个物品作为召回结果。

查看更多 →

SFT全参微调权重转换 支持HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。 HuggingFace权重转换操作

查看更多 →

训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf

查看更多 →

调度的时间间隔。 基于交替最小二乘的矩阵分解推荐 基于交替最小二乘的矩阵分解推荐：基于用户-物品的行为信息作为原始矩阵，利用ALS优化算法对原始矩阵进行矩阵分解，分解之后的用户隐向量矩阵和物品隐向量矩阵可以用来生成预估的新的用户-物品评分矩阵，提取出评分最高的若干个物品作为召回结果。

查看更多 →

Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入vllm代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。

查看更多 →

支持的架构和操作系统 跨云容灾支持的架构和操作系统如下列所示。 基础平台 支持的基础平台如表1所示。 表1 跨云容灾支持的基础平台 基础平台 版本 物理机 支持x86架构的物理机。 说明： 仅在使用英方容灾软件时支持物理机。 VMware vSphere 推荐6.0版本。 操作系统

查看更多 →

云上容灾支持信息下列所示。操作系统云上容灾对 弹性云服务器 所使用的操作系统如表1所示。云上容灾支持的弹性 云服务器 操作系统操作系统版本Windows Server2008R2、2012R2、2016Redhat Enterprise Linux推荐：6.8、7.2、7.3支持：6.X系列、7.X系列CentOS推荐6.8、7.2、7.3支持：

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求

查看更多 →

--per-token --per-channel 参数说明: --model-path：原始模型权重路径。 --quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的

查看更多 →