数据格式转换 数据传输格式转换，用于JSON格式与XML格式数据的互转。 连接参数 数据传输格式转换连接器无需认证，无连接参数。 将JSON格式转换为XML格式 输入参数 需要转换的JSON，相关参数说明请参考表1。 表1 JSON格式转换为XML格式输入参数说明 参数 说明 JSON

查看更多 →

LoRA训练 本章节介绍SDXL&SD 1.5模型的LoRA训练过程。LoRA训练是指在已经训练好的模型基础上，使用新的数据集进行LoRA微调以优化模型性能的过程。 训练前需要修改数据集路径、模型路径。脚本里写到datasets路径即可。 run_lora_sdxl中的vae路径要准确写到sdxl_vae

查看更多 →

LoRA训练 本章节介绍SDXL&SD 1.5模型的LoRA训练过程。LoRA训练是指在已经训练好的模型基础上，使用新的数据集进行LoRA微调以优化模型性能的过程。 启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_lora_train

查看更多 →

--max-lora-rank表示挂载lora的最大rank数量，支持8、16、32、64，选择lora1与lora2中rank数量的较大值，比如lora1对应16rank，lora2对应32rank，挂载lora的最大rank数量为32。 --max-loras表示支持的最大lora个数，最大32。

查看更多 →

--max-lora-rank表示挂载lora的最大rank数量，支持8、16、32、64，选择lora1与lora2中rank数量的较大值，比如lora1对应16rank，lora2对应32rank，挂载lora的最大rank数量为32。 --max-loras表示支持的最大lora个数，最大32。

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速的完成数据收集以及数据格式转换。 上传数据格式：Rosbag包+与数据包同名的yaml文件，单包上传大小小于100G。 转换后数据格式：OpenData格式（内必含O

查看更多 →

时，此点数会远大于页面像素点数。建议一个文件只包含一个月的KPI数据。 文件格式样例如表1 文件格式样例所示。 表1 文件格式样例 时间 网元 KPI指标1 KPI指标2 KPI指标3 2019-06-01 00:00:00 PGW 100 212 145 2019-06-02 00:00:00

查看更多 →

loraServer网关上线后，注册LoRa网关。应用已鉴权，在header中携带参数app_key和Authorization: Bearer {accessToken}Status Code: 201 Created

查看更多 →

删除LoRa网关。应用已鉴权，在header中携带参数app_key和Authorization: Bearer {accessToken}Status Code: 204 No Content

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

查看更多 →

默认必须填写。表示代码根据OBS存储方式运行。 MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE lora 表示训练类型。可选择值：[pretrain, sft, lora]。 DATA_TYPE GeneralInstructionHandler 示例值需要根据数据集的不同，选择其一。

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

查看更多 →

yaml模板中的${command}命令如下。多机启动需要在每个节点上执行。MASTER_ADDR为当前ssh远程主机的IP地址（私网IP）。 多机执行命令为：sh scripts/llama2/0_pl_lora_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0>

查看更多 →

和训练的数据集预处理说明。 步骤2 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入： cd /h

查看更多 →

数据格式规范 推荐系统OBS文件夹规范 离线数据源 实时日志 全局特征信息文件 父主题： 用户指南（旧版）

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式：单包上传大小小于200GB。 转换后数据格式：OpenData格式。 使用场景 Octopus平台接收数据包（数据包至

查看更多 →

上传数据格式 在使用Octopus平台收集数据前，请仔细阅读本章节，确保上传数据格式符合平台要求，有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式：单包上传大小小于200GB。 转换后数据格式：OpenData格式。 使用场景 Octopus平台接收数据包（数据包至

查看更多 →

转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求： 数据类型：包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式：Octopus OpenData格式。其中相机采集数据文件后缀为“

查看更多 →