配置API的流量控制 流量控制可限制单位时间内API的被调用次数，保护后端服务。为了提供持续稳定的服务，您可以创建流控策略，对绑定策略的API进行流量控制。若API被触发流量控制，则流控期间该API的所有调用请求都将被丢弃，并向调用方返回失败响应。 流量控制策略和API本身是相互

查看更多 →

配置API的凭据访问控制 凭据访问控制可控制访问API的凭据IP地址，保护后端服务。您可以为凭据设置访问控制策略，允许/禁止某个IP地址的凭据访问API。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“服务集成

查看更多 →

SFT微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data.py存放在llm_train/As

查看更多 →

创建微调数据集 数据集是数据的集合，微调数据集是模型训练的基础。用户可自主创建用于模型训练的数据集。 前提条件 通过OBS接入数据时，需同意服务授权以获得OBS（ 对象存储服务 ）只读权限。 操作步骤 在AI原生应用引擎工作台的左侧导航栏选择“知识中心 > 微调数据集”。 在“微调数据

查看更多 →

SFT全参微调权重转换 增量训练前需将HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。

查看更多 →

SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b

查看更多 →

SFT全参微调任务 前提条件 SFT全参微调使用的数据集为alpaca_data数据，已经完成数据处理，具体参见SFT全参微调数据处理。 原始的HuggingFace权重，已将原始的HuggingFace权重转换为Megatron格式，具体参见SFT全参微调权重转换 Step2 启动训练脚本

查看更多 →

SFT全参微调训练 SFT全参微调数据处理 SFT全参微调权重转换 SFT全参微调任务 父主题： LLama2系列模型基于DevServer适配PyTorch NPU训练指导（6.3.904）

查看更多 →

SFT全参微调权重转换 SFT全参微调需将HuggingFace格式权重转换为megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练

查看更多 →

SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b

查看更多 →

APIC如何对流量进行控制？ 您可以通过流控策略控制单位时间内API被访问的次数，保护后端服务，详情请参考流量控制。 默认的流控策略是单个API的访问不超过6000次/秒，如果您未创建流控策略，APIC会执行默认流控策略。您可以在ROMA Connect实例控制台“实例信息”页面

查看更多 →

SFT全参微调任务 前提条件 SFT全参微调使用的数据集为alpaca_data数据，已经完成数据处理，具体参见SFT全参微调数据处理。 已经将开源HuggingFace权重转换为Megatron格式，具体参见SFT全参微调权重转换。 Step1 修改训练超参配置 SFT全参微调脚本llama2

查看更多 →

SFT微调训练任务 本章节以Qwen-14B为例，介绍SFT微调训练全过程。对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 前提条件 SFT微调训练使用的数据集为alpaca_data数据，已经完成数据处理，具体参见SFT微调数据处理。

查看更多 →

SFT全参微调训练 SFT全参微调数据处理 SFT全参微调权重转换 SFT全参微调任务 父主题： GLM3-6B模型基于DevServer适配PyTorch NPU训练指导（6.3.904）

查看更多 →

SFT全参微调任务 前提条件 SFT全参微调使用的数据集为alpaca_data数据，已经完成数据处理，具体参见SFT全参微调数据处理。 已经将开源原始HuggingFace权重转换为Megatron格式，具体参见SFT全参微调权重转换。 Step1 修改训练超参配置 SFT全参微调脚本glm3_base

查看更多 →

SFT全参微调权重转换 支持HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。 HuggingFace权重转换操作

查看更多 →

开通智驾模型微调服务 在使用智驾模型服务模型微调功能之前，需先开通智驾模型微调服务。开通后，当模型微调状态为“运行中”，会根据创建模型微调任务时选择的资源按需计费。 开通服务 登录Octopus服务平台，在左侧菜单栏中单击“总览”。 在“模型微调”模块，单击操作栏中的“开通服务”。

查看更多 →

API访问控制策略不生效怎么办 问题描述 您已设置API访问控制策略，但是不满足策略要求的IAM用户仍然可以通过API访问华为云。 解决方法 可能原因：您已设置的API访问控制策略暂未生效。 解决方法：API访问控制策略应用后，将在2小时内生效，请耐心等待。 可能原因：当前区域暂不支持API访问控制功能。

查看更多 →

份认证。 访问控制 流量控制：APIG通过凭据、API、IP、用户等多维度的流控策略保护系统。 黑白名单：APIG支持系统级和API级别的IP黑白名单，拒绝恶意访问。 后端流量控制：APIG提供后端负载均衡、自动熔断等能力保护后端业务。 父主题： 身份认证与访问控制

查看更多 →

如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data.p

查看更多 →

SFT全参微调数据处理 SFT全参微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/tats

查看更多 →