训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 录制Profiling 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练数据集预处理说明 训练权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）

查看更多 →

训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.910）

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.909）

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.909）

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.909）

查看更多 →

在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 如要查看某个脚本引用情况，右键单击待查看的脚本，选择“查看引用”，弹出“引用列表”窗口。 如要查看文件夹下的所有脚本引用情况，右键单击待查看的文件夹，选择“查看引用”，弹出“查看引用”窗口。 在弹出的窗口，可以查看该脚本或该文件夹下所有脚本被引用的情况。

查看更多 →

脚本开发的使用流程如下： 图1 脚本开发流程 新建脚本：新建相应类型的脚本。具体请参见新建脚本。 开发脚本：基于新建的脚本，进行脚本的在线开发、调试和执行。具体请参见开发脚本。 提交版本并解锁：脚本开发完成后，您需要提交版本并解锁，提交版本并解锁后才能正式地被作业调度运行，便于其他开发者修改。具体请参见提交版本。

查看更多 →

hon脚本时，参数会向脚本传递。参数之间使用空格分隔，例如：a b c。此处的“参数”需要在Python脚本中引用，否则配置无效。 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”，可设置脚本的责任人和描述信息。 脚本内容大小不能超过16MB。 企业模式下，支持从脚本开发界面

查看更多 →

DLI ：数据连接、数据库、资源队列、脚本内容。 DWS：数据连接、数据库、脚本内容。 HIVE：数据连接、数据库、资源队列、脚本内容。 SPARK：数据连接、数据库、脚本内容。 SHELL：主机连接、参数、交互式参数、脚本内容。 RDS：数据连接、数据库、脚本内容。 PRESTO：数据连接、模式、脚本内容。

查看更多 →

脚本执行服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-script-exec 10.190.x.x 10.190.x.x /app/dt/data-script-exec 8090 安装脚本执行服务 修改配置文件application-dev.yml

查看更多 →

图1 脚本控制台 配置快速脚本运维信息。 表1 快速脚本运维参数说明 参数 说明 执行脚本 输入针对主机资源需执行的脚本。 可选择“脚本管理”中脚本内容，也可新上传本地脚本文件。 脚本参数 （可选）自定义脚本参数。 执行账户 “选择”已创建的SSH协议类型资源账户或账户组。 “重置”已选择的资源账户或账户组。

查看更多 →

_hybrid) type 否 String 脚本类型 SQL：SQL语句 SP：存储过程 object_name 是 String 返回对象。 最小长度：1 最大长度：32 content 是 String API脚本内容 请对脚本进行base64编码 最小长度：1 最大长度：100000

查看更多 →

选择聚合服务实例数据所读取的实例数据库。 必填，仅可选在“基础数据管理 > 数据源”中，数据源定义“是否用于聚合服务”值为“是”的图数据库和关系型数据库。 此处选择关系型数据库类型。 是否纯脚本服务 根据已选数据源类型自动选择值，此处默认为“是”，暂不支持修改。 脚本类型 根据已选数据源类

查看更多 →

out; } } 单击编辑器上方的，保存脚本。 测试脚本能否正常执行。 单击编辑器上方的，执行脚本。 在界面底部，直接单击测试窗口右上角，执行脚本。 执行成功后，会在“输出”页签返回全部设备信息。 测试成功，单击编辑器上方的，启用脚本。 父主题： 创建业务逻辑

查看更多 →

userSaltedPassword } 单击编辑器上方的，保存脚本。 测试脚本能否正常执行。 单击编辑器上方的，执行脚本。 在界面底部输入测试数据，单击测试窗口右上角执行图标，其中“test_cs”、变量“{XXXXXXXX}”为用户注册脚本中测试数据。 { "username": "test_cs"

查看更多 →

训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.909）

查看更多 →

选择普通执行时，shell脚本会以默认的方式执行 , 执行日志会打印相应的执行结果 , 但是不能启动服务或者进程 。 选择后台执行时 , 可以启动服务或进程 , 但执行日志不会打印执行结果 。 shell脚本路径 shell脚本在目标主机中的路径。 脚本执行参数 脚本执行之前先填写参数，脚本执行的时候，加载并使用填写的参数值。

查看更多 →

Python和Impala SQL脚本。脚本每执行一次，生成一个脚本实例。执行脚本接口是一个异步命令，需要通过查询脚本实例执行结果获取执行状态和结果。 DLI SQL和Presto SQL不支持多语句场景。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。 URI URI格式 POST

查看更多 →

制作代理镜像脚本 注意事项： 代理镜像脚本分为Linux代理镜像和Windows代理镜像。迁移请制作对应系统的脚本包。 用户自行制作代理镜像时，需要自行编写函数。如有疑问，请联系技术支持人员提供帮助。 Windows 临时代理镜像和Linux 临时代理镜像制作方法是基于迁移团队提

查看更多 →