更新时间:2026-09-23 GMT+08:00
分享

开发第一条Workflow

本文介绍如何开发第一条Workflow。更多节点的构建参数请参考创建Workflow节点。

步骤一:安装开发环境

本案例提供了两种安装开发环境的方法,您可根据使用习惯选择。

方法一:使用JupyterLab打开Notebook实例准备环境

  1. 创建Notebook实例,“WebIDE”选中“JupyterLab”。

    当Notebook状态变为“运行中”时,表示Notebook创建成功。

  2. 在“Notebook”页面,单击操作列的“接入环境”,在“接入方式”对话框的“WebIDE”页签,单击“JupyterLab 接入”右侧的“接入”,进入JupyterLab页面。JupyterLab详细操作请参见JupyterLab简介及常用操作。
  3. 创建一个ipynb文件。
    图1 新建ipynb文件

    然后执行如下命令。如果能成功导入,则表示环境准备完成。

    from modelarts import workflow as wf
    如果执行失败,可执行如下命令进行手动安装。
    !rm modelarts*.whl
    
    !wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.1/modelarts-1.4.18-py2.py3-none-any.whl
    !wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.1/modelarts_workflow-1.0.1-py2.py3-none-any.whl
    
    !pip uninstall -y modelarts modelarts-workflow
    
    !pip install modelarts-1.4.18-py2.py3-none-any.whl
    !pip install modelarts_workflow-1.0.1-py2.py3-none-any.whl 

    如果导入失败,建议重新执行安装命令,或者重启kernel后再次执行安装命令。

方法二:使用本地IDE远程连接Notebook准备环境

使用本地IDE如PyCharm开发工作流,您只需专注于本地代码开发即可。

在本地IDE的终端运行如下命令进行环境准备。Python版本要求:3.7.x或以上版本。

rm modelarts*.whl
wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts-1.4.19-py2.py3-none-any.whl
wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts_workflow-1.0.2-py2.py3-none-any.whl

pip uninstall -y modelarts modelarts-workflow

pip install modelarts-1.4.19-py2.py3-none-any.whl
pip install modelarts_workflow-1.0.2-py2.py3-none-any.whl  

使用本地IDE进行开发时,配置好PyCharm环境后,在代码中还需要使用AK-SK认证模式,示例代码如下。

from modelarts.session import Session
# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;
# 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
__AK = os.environ["HUAWEICLOUD_SDK_AK"]
__SK = os.environ["HUAWEICLOUD_SDK_SK"]
# 如果进行了加密还需要进行解密操作
session = Session(access_key=__AK, secret_key=__SK, project_id='***', region_name='***')

下载ModelArts SDK安装包和Workflow SDK安装包时,建议您同时下载校验文件,校验安装包的完整性,避免由于安装包下载问题导致后续的业务问题。

  1. 依次完成下载ModelArts SDK安装包、校验文件和Workflow SDK安装包、校验文件。
  2. 将SDK包及对应的校验文件放在同一目录下,使用openssl工具进行完整性校验,Workflow SDK校验示例如下:
    openssl cms -verify -binary -in modelarts_workflow-*.*.*-py2.py3-none-any.whl.cms  -inform DER -content modelarts_workflow-*.*.*-py2.py3-none-any.whl  -noverify > ./test

    出现如下信息则表示校验通过。

    Verification successful

步骤二:编写Workflow

本样例基于图像分类算法,构建包含训练单节点的Workflow。

Workflow编写时,使用到的其他Workflow节点对象导入请参考编排Workflow。

确保步骤一:安装开发环境完成后,在ModelArts的Notebook环境中,通过JupyterLab输入如下示例代码。

from modelarts import workflow as wf

# 定义统一存储对象管理输出目录
output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置")

# 数据集对象
dataset = wf.data.DatasetPlaceholder(name="input_data")

# 创建训练作业
job_step = wf.steps.JobStep(
    name="training_job",
    title="图像分类训练",
    algorithm=wf.AIGalleryAlgorithm(
        subscription_id="***", # 图像分类算法的订阅ID,自行前往算法管理页面进行查看,可选参数,此处以订阅算法举例
        item_version_id="1.0.1", # 订阅算法的版本号,该示例为1.0.1版本,可选参数,此处以订阅算法举例
parameters=[
                wf.AlgorithmParameters(name="task_type", value="image_classification_v2"),
                wf.AlgorithmParameters(name="model_name", value="resnet_v1_50"),
                wf.AlgorithmParameters(name="do_train", value="True"),
                wf.AlgorithmParameters(name="do_eval_along_train", value="True"),
                wf.AlgorithmParameters(name="variable_update", value="horovod"),
                wf.AlgorithmParameters(name="learning_rate_strategy", value="0.002"),
                wf.AlgorithmParameters(name="batch_size", value="64"),
                wf.AlgorithmParameters(name="eval_batch_size", value="64"),
                wf.AlgorithmParameters(name="evaluate_every_n_epochs", value="1.0"),
                wf.AlgorithmParameters(name="save_model_secs", value="60"),
                wf.AlgorithmParameters(name="save_summary_steps", value="10"),
                wf.AlgorithmParameters(name="log_every_n_steps", value="10"),
                wf.AlgorithmParameters(name="do_data_cleaning", value="True"),
                wf.AlgorithmParameters(name="use_fp16", value="True"),
                wf.AlgorithmParameters(name="xla_compile", value="True"),
                wf.AlgorithmParameters(name="data_format", value="NCHW"),
                wf.AlgorithmParameters(name="best_model", value="True"),
                wf.AlgorithmParameters(name="jpeg_preprocess", value="True"),
                wf.AlgorithmParameters(name="do_model_analysis", value="True"),
                wf.AlgorithmParameters(name="wf_metric_log", value="True"),
            ]

    ),
    inputs=[wf.steps.JobInput(name="data_url", data=dataset)],
    outputs=[wf.steps.JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))],
    spec=wf.steps.JobSpec(
        resource=wf.steps.JobResource(
            flavor=wf.Placeholder(
                name="training_flavor",
                placeholder_type=wf.PlaceholderType.JSON,
                description="训练资源规格"
            )
        )
    )
)

# 构建工作流对象
workflow = wf.Workflow(
    name="image-classification-ResNeSt",
    desc="this is a image classification workflow",
    steps=[job_step],
    storages=[output_storage]
)

# 工作流默认创建在default工作空间下,可以通过以下方式指定工作流归属的空间
# workflow = wf.Workflow(
#     name="image-classification-ResNeSt",
#     desc="this is a image classification workflow",
#     steps=[job_step],
#     storages=[output_storage],
#     workspace=wf.resource.Workspace(workspace_id="***")
# )
# 其中workspace_id可前往ModelArts的工作空间服务中进行查看

上述代码示例在云上Notebook环境中可直接调试运行。

如果需要在本地IDE中使用,则需要补充相关的session鉴权内容,在本地IDE中运行,代码示例修改如下:

from modelarts import workflow as wf
from modelarts.session import Session
# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;
# 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
__AK = os.environ["HUAWEICLOUD_SDK_AK"]
__SK = os.environ["HUAWEICLOUD_SDK_SK"]
# 如果进行了加密还需要进行解密操作
session = Session(access_key=__AK, secret_key=__SK, project_id='***', region_name='***') # 根据账号的相关信息进行修改

# 定义统一存储对象管理输出目录
output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置")

# 数据集对象
dataset = wf.data.DatasetPlaceholder(name="input_data")

# 创建训练作业
job_step = wf.steps.JobStep(
    name="training_job",
    title="图像分类训练",
    algorithm=wf.AIGalleryAlgorithm(
        subscription_id="***", # 图像分类算法的订阅ID,自行前往算法管理页面进行查看
        item_version_id="10.1.0", # 订阅算法的版本号,该示例为10.1.0版本
parameters=[
                wf.AlgorithmParameters(name="task_type", value="image_classification_v2"),
                wf.AlgorithmParameters(name="model_name", value="resnet_v1_50"),
                wf.AlgorithmParameters(name="do_train", value="True"),
                wf.AlgorithmParameters(name="do_eval_along_train", value="True"),
                wf.AlgorithmParameters(name="variable_update", value="horovod"),
                wf.AlgorithmParameters(name="learning_rate_strategy", value="0.002"),
                wf.AlgorithmParameters(name="batch_size", value="64"),
                wf.AlgorithmParameters(name="eval_batch_size", value="64"),
                wf.AlgorithmParameters(name="evaluate_every_n_epochs", value="1.0"),
                wf.AlgorithmParameters(name="save_model_secs", value="60"),
                wf.AlgorithmParameters(name="save_summary_steps", value="10"),
                wf.AlgorithmParameters(name="log_every_n_steps", value="10"),
                wf.AlgorithmParameters(name="do_data_cleaning", value="True"),
                wf.AlgorithmParameters(name="use_fp16", value="True"),
                wf.AlgorithmParameters(name="xla_compile", value="True"),
                wf.AlgorithmParameters(name="data_format", value="NCHW"),
                wf.AlgorithmParameters(name="best_model", value="True"),
                wf.AlgorithmParameters(name="jpeg_preprocess", value="True"),
                wf.AlgorithmParameters(name="do_model_analysis", value="True"),
                wf.AlgorithmParameters(name="wf_metric_log", value="True"),
            ]

    ),
    inputs=[wf.steps.JobInput(name="data_url", data=dataset)],
    outputs=[wf.steps.JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))],
    spec=wf.steps.JobSpec(
        resource=wf.steps.JobResource(
            flavor=wf.Placeholder(
                name="training_flavor",
                placeholder_type=wf.PlaceholderType.JSON,
                description="训练资源规格"
            )
        )
    )
)

# 构建工作流对象
workflow = wf.Workflow(
    name="image-classification-ResNeSt",
    desc="this is a image classification workflow",
    steps=[job_step],
    session=session, # 补充鉴权对象
    storages=[output_storage]
)

# 工作流默认创建在default工作空间下,可以通过以下方式指定工作流归属的空间
# workflow = wf.Workflow(
#     name="image-classification-ResNeSt",
#     desc="this is a image classification workflow",
#     steps=[job_step],
#     session=session, # 补充鉴权对象
#     storages=[output_storage],
#     workspace=wf.resource.Workspace(workspace_id="***")
# )
# 其中workspace_id可前往ModelArts页面的工作空间服务中进行查看

步骤三:发布Workflow至运行态

发布Workflow至运行态完成后需要配置,详细参考2。更多发布方式请参考发布Workflow。

  1. Workflow开发完成后,执行如下代码发布Workflow至运行态。日志打印显示发布成功,则可前往ModelArts的Workflow页面中查看新发布的工作流。
    workflow.release()
    图2 发布成功
  2. 前往ModelArts管理控制台去查看新发布的Workflow,进入Workflow详情,单击“配置”进行参数配置。
    图3 发布工作流

(可选)清除Workflow资源

如果后续不再使用此Workflow,可以参考以下步骤删除资源。

  • 删除Workflow
  1. 在ModelArts管理控制台,左侧导航栏单击“开发空间 > Workflow”。
  2. 进入Workflow列表页,选择生成的Workflow(未运行的与运行的两条)。
  3. 在相应的Workflow的“操作”列,单击“更多 > 删除”。
  4. 在“删除Workflow”对话框,确认删除的信息无误后,输入“DELETE”,单击“确定”。

删除Notebook实例

  1. 在ModelArts管理控制台,左侧导航栏单击“开发空间 > Notebook”。
  2. 在Notebook列表中,单击操作列的“删除”,在弹出的确认对话框中,确认信息无误,然后单击“确定”,完成删除操作。

删除OBS桶

  1. 在OBS管理控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务详情页面。
  2. 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,进入OBS桶详情。
  3. 在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击上方的“删除”或者在操作列单击“更多”,选择“删除”,即可删除相应的存储对象。

相关文档