本地Linux主机使用SFTP上传文件到Linux云 服务器 操作场景 本节操作以CentOS操作系统为例，介绍配置SFTP、使用SFTP上传或下载文件、文件夹的操作步骤。 操作步骤 以root用户登录云服务器。 执行以下命令查看ssh版本，OpenSSH版本大于等于4.8p1。 ssh

查看更多 →

本地Linux主机使用SFTP上传文件到Linux云服务器 操作场景 本节操作以CentOS操作系统为例，介绍配置SFTP、使用SFTP上传或下载文件、文件夹的操作步骤。 操作步骤 以root用户登录云服务器。 执行以下命令查看ssh版本，OpenSSH版本大于等于4.8p1。 ssh

查看更多 →

本地Linux主机使用SFTP上传文件到Linux云服务器 操作场景 本节操作以CentOS操作系统为例，介绍配置SFTP、使用SFTP上传或下载文件、文件夹的操作步骤。 操作步骤 以root用户登录云服务器。 执行以下命令查看ssh版本，OpenSSH版本大于等于4.8p1。 ssh

查看更多 →

创建E CS 服务器 弹性云服务器（Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的一种可随时获取、弹性可扩展的云服务器。具体过程请参考ECS文档购买一个Linux弹性云服务器。创建完成后，单击“远程登录”，可直接访问ECS服务器。 注意：C

查看更多 →

Notebook等线上开发工具工程化开发体验不如IDE，但是本地开发服务器等资源有限，运行和调试环境大多使用团队公共搭建的CPU或GPU服务器，并且是多人共用，这带来一定的环境搭建和维护成本。因此使用本地IDE+远程Notebook结合的方式，可以同时享受IDE工程化开发和云上资源的即开即用，优势互补，满足开发者需求。

查看更多 →

执行预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

执行SFT全参微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

执行预训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

执行LoRA微调训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

置在context文件夹内。训练基础镜像地址请参见训练专属预置镜像列表。 FROM {ModelArts提供的训练基础镜像地址} # 配置pip RUN mkdir -p /home/ma-user/.pip/ COPY --chown=ma-user:ma-group pip

查看更多 →

SFS类型和容量选择 创建ECS服务器 弹性云服务器 （Elastic Cloud Server，ECS）是由CPU、内存、操作系统、云硬盘组成的一种可随时获取、弹性可扩展的 云服务器 。具体过程请参考ECS文档购买一个Linux弹性云服务器。创建完成后，单击“远程登录”，可直接访问ECS服务器。 注意

查看更多 →

ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/alpaca_gpt4_data.json 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/work/models/llama-2-13b-chat-hf

查看更多 →

ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/alpaca_gpt4_data.json 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/work/models/llama-2-13b-chat-hf

查看更多 →

本地挂载路径： (PyTorch-1.8) [ma-user work]$cd (PyTorch-1.8) [ma-user ~]$cd /data (PyTorch-1.8) [ma-user data]$ls 父主题： 文件上传下载

查看更多 →

在JupyterLab左侧导航创建名为“summary”的文件夹，将数据上传到“/home/ma-user/work/summary”路径。注：文件夹命名只能为summary否则无法使用。 进入“summary”文件夹，单击方式1，直接进入TensorBoard可视化界面。如图2所示。

查看更多 →

执行LoRA微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

执行SFT全参微调训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

方法二：文件夹直接上传至Notebook。 类似上传代码至Notebook，直接上传数据文件夹。（由于本案例数据集中图片数量较多，通过IDE进行上传比较耗时，推荐使用方法一进行上传） 图16 文件夹直接上传至Notebook 当数据集比较大达到数GB时，建议先将数据集先上传至OBS再通过OBS上传至Notebook

查看更多 →

l_file='/home/ma-user/file1.txt', dst_obs_dir='obs://bucket-name/dir1/') 示例代码执行后，本地源文件“file1.txt”被上传至“bucket-name”桶的“dir1”文件夹下，路径为“obs://bu

查看更多 →

ModelArts: MA_MOUNT_PATH_ENV = 'MA_MOUNT_PATH' MA_CURRENT_INSTANCE_NAME_ENV = 'MA_CURRENT_INSTANCE_NAME' MA_VJ_NAME = 'MA_VJ_NAME'

查看更多 →

llama2系列模型执行脚本的文件夹 |──llama3 # llama3系列模型执行脚本的文件夹 |──qwen # Qwen系列模型执行脚本的文件夹

查看更多 →