文档首页/ AI开发平台ModelArts/ ModelArts用户指南（Standard）/ 使用Workflow实现低代码AI开发/ 开发第一条Workflow
更新时间：2024-08-16 GMT+08:00
查看PDF
分享

开发第一条Workflow

本章节提供了一个基于图像分类算法，构建包含训练单节点的Workflow的样例。更多节点的构建参数请参考创建Workflow节点。

步骤1：安装开发环境

本案例提供了两种安装开发环境的方法，您可根据使用习惯选择。

方法一：使用JupyterLab打开Notebook实例准备环境

  1. 登录ModelArts控制台，进入“开发空间>Notebook”。
  2. 单击“创建”，进入创建页面，选择默认参数后，单击“立即创建”，确认信息无误后单击“提交”。任务提交成功后单击“立即返回”跳转至Notebook列表页。Notebook实例更多参数介绍请参见创建Notebook实例章节。
  3. 查看2中创建好的实例，确保其状态为“运行中”，单击操作列的“打开”，进入JupyterLab页面。JupyterLab详细操作请参见JupyterLab简介及常用操作。
  4. 创建一个ipynb文件。
    图1 新建ipynb文件

    然后执行如下命令。如果能成功导入，则表示环境准备完成。

    from modelarts import workflow as wf
    如果执行失败，可执行如下命令进行手动安装。 
    !rm modelarts*.whl

!wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.1/modelarts-1.4.18-py2.py3-none-any.whl
!wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.1/modelarts_workflow-1.0.1-py2.py3-none-any.whl

!pip uninstall -y modelarts modelarts-workflow

!pip install modelarts-1.4.18-py2.py3-none-any.whl
!pip install modelarts_workflow-1.0.1-py2.py3-none-any.whl

    如果导入失败，建议重新执行安装命令，或者重启kernel后再次执行安装命令。

方法二：使用本地IDE远程连接Notebook准备环境

使用本地IDE如PyCharm开发工作流，您只需专注于本地代码开发即可。PyCharm连接Notebook操作请参见配置本地IDE（PyCharm ToolKit连接）。

在本地IDE的终端运行如下命令进行环境准备。Python版本要求：3.7.x或以上版本。

rm modelarts*.whl
wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts-1.4.19-py2.py3-none-any.whl
wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts_workflow-1.0.2-py2.py3-none-any.whl

pip uninstall -y modelarts modelarts-workflow

pip install modelarts-1.4.19-py2.py3-none-any.whl
pip install modelarts_workflow-1.0.2-py2.py3-none-any.whl

使用本地IDE进行开发时，配置好PyCharm环境后，在代码中还需要使用AK-SK认证模式，示例代码如下。

from modelarts.session import Session
# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
# 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
__AK = os.environ["HUAWEICLOUD_SDK_AK"]
__SK = os.environ["HUAWEICLOUD_SDK_SK"]
# 如果进行了加密还需要进行解密操作
session = Session(access_key=__AK, secret_key=__SK, project_id='***', region_name='***')

下载ModelArts SDK安装包和Workflow SDK安装包时，建议您同时下载校验文件，校验安装包的完整性，避免由于安装包下载问题导致后续的业务问题。

  1. 依次完成下载ModelArts SDK安装包、校验文件和Workflow SDK安装包、校验文件。
  2. 将SDK包及对应的校验文件放在同一目录下，使用openssl工具进行完整性校验，Workflow SDK校验示例如下：
    openssl cms -verify -binary -in modelarts_workflow-*.*.*-py2.py3-none-any.whl.cms  -inform DER -content modelarts_workflow-*.*.*-py2.py3-none-any.whl  -noverify > ./test

    出现如下信息则表示校验通过。

    Verification successful

步骤2：准备数据

准备算法

此处以订阅算法举例，您也可以自己准备算法。

  1. 从AI Gallery订阅一个图像分类的算法。
    1. 单击算法右侧的“订阅”。
    2. 在弹出的窗口中，勾选“我已阅读并同意 《数据安全与隐私风险承担条款》 和 《华为云AI Gallery服务协议》”后，单击“继续订阅”。
  2. 订阅完成后，单击“前往控制台”，选择云服务区域为“华北-北京四”，单击“确定”后系统页面会自动跳转至“算法管理>我的订阅”。单击“产品名称”列的小圆点选中该算法，下方白色提示框会显示所选算法的基本信息和版本列表。

准备数据集

  1. 进入AI Gallery，搜索8类常见生活垃圾图片数据集。
  2. 单击“下载”，选择云服务区域“华北-北京四”，单击“确定”进入下载详情页。
  3. 填写如下参数：
    • 下载方式：ModelArts数据集。
    • 目标区域：华北-北京四。
    • 数据类型：图片。
    • 数据集输出位置：用来存放输出的数据标注的相关信息，如版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录，且此目录不能与输入位置一致，也不能为输入位置的子目录。
    • 数据集输入位置：用来存放源数据集信息，例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录，但不能与输出位置为同一目录。
    • 名称：默认自动生成，也可自定义修改。
    • 描述：数据集信息描述。

  4. 单击“确定”，跳转至“我的数据 > 我的下载”页签，等待下载完成（下载完成大概5分钟左右，请您耐心等待）。
    图2 我的下载
  5. 下载完成后，登录ModelArts管理控制台，在页面选择“数据管理>数据集”（请前往新版数据集）。
  6. 选择上一步下载好的数据集，单击数据集名称进入数据集概览详情页面。
  7. 在概览详情页，单击右上角发的“发布>发布新版本”，单击“确定”。

步骤三：编写Workflow

本样例基于图像分类算法，构建包含训练单节点的Workflow。

Workflow编写时，使用到的其他Workflow节点对象导入请参考编排Workflow。

确保步骤1：安装开发环境完成后，在ModelArts的Notebook环境中，通过JupyterLab输入如下示例代码。

from modelarts import workflow as wf

# 定义统一存储对象管理输出目录
output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置")

# 数据集对象
dataset = wf.data.DatasetPlaceholder(name="input_data")

# 创建训练作业
job_step = wf.steps.JobStep(
    name="training_job",
    title="图像分类训练",
    algorithm=wf.AIGalleryAlgorithm(
        subscription_id="***", # 图像分类算法的订阅ID，自行前往算法管理页面进行查看，可选参数，此处以订阅算法举例
        item_version_id="1.0.1", # 订阅算法的版本号，该示例为1.0.1版本，可选参数，此处以订阅算法举例
parameters=[
                wf.AlgorithmParameters(name="task_type", value="image_classification_v2"),
                wf.AlgorithmParameters(name="model_name", value="resnet_v1_50"),
                wf.AlgorithmParameters(name="do_train", value="True"),
                wf.AlgorithmParameters(name="do_eval_along_train", value="True"),
                wf.AlgorithmParameters(name="variable_update", value="horovod"),
                wf.AlgorithmParameters(name="learning_rate_strategy", value="0.002"),
                wf.AlgorithmParameters(name="batch_size", value="64"),
                wf.AlgorithmParameters(name="eval_batch_size", value="64"),
                wf.AlgorithmParameters(name="evaluate_every_n_epochs", value="1.0"),
                wf.AlgorithmParameters(name="save_model_secs", value="60"),
                wf.AlgorithmParameters(name="save_summary_steps", value="10"),
                wf.AlgorithmParameters(name="log_every_n_steps", value="10"),
                wf.AlgorithmParameters(name="do_data_cleaning", value="True"),
                wf.AlgorithmParameters(name="use_fp16", value="True"),
                wf.AlgorithmParameters(name="xla_compile", value="True"),
                wf.AlgorithmParameters(name="data_format", value="NCHW"),
                wf.AlgorithmParameters(name="best_model", value="True"),
                wf.AlgorithmParameters(name="jpeg_preprocess", value="True"),
                wf.AlgorithmParameters(name="do_model_analysis", value="True"),
                wf.AlgorithmParameters(name="wf_metric_log", value="True"),
            ]

    ),
    inputs=[wf.steps.JobInput(name="data_url", data=dataset)],
    outputs=[wf.steps.JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))],
    spec=wf.steps.JobSpec(
        resource=wf.steps.JobResource(
            flavor=wf.Placeholder(
                name="training_flavor",
                placeholder_type=wf.PlaceholderType.JSON,
                description="训练资源规格"
            )
        )
    )
)

# 构建工作流对象
workflow = wf.Workflow(
    name="image-classification-ResNeSt",
    desc="this is a image classification workflow",
    steps=[job_step],
    storages=[output_storage]
)

# 工作流默认创建在default工作空间下，可以通过以下方式指定工作流归属的空间
# workflow = wf.Workflow(
#     name="image-classification-ResNeSt",
#     desc="this is a image classification workflow",
#     steps=[job_step],
#     storages=[output_storage],
#     workspace=wf.resource.Workspace(workspace_id="***")
# )
# 其中workspace_id可前往ModelArts的工作空间服务中进行查看

上述代码示例在云上Notebook环境中可直接调试运行。

如果需要在本地IDE中使用，则需要补充相关的session鉴权内容，在本地IDE中运行，代码示例修改如下：

from modelarts import workflow as wf
from modelarts.session import Session
# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
# 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
__AK = os.environ["HUAWEICLOUD_SDK_AK"]
__SK = os.environ["HUAWEICLOUD_SDK_SK"]
# 如果进行了加密还需要进行解密操作
session = Session(access_key=__AK, secret_key=__SK, project_id='***', region_name='***') # 根据账号的相关信息进行修改

# 定义统一存储对象管理输出目录
output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置")

# 数据集对象
dataset = wf.data.DatasetPlaceholder(name="input_data")

# 创建训练作业
job_step = wf.steps.JobStep(
    name="training_job",
    title="图像分类训练",
    algorithm=wf.AIGalleryAlgorithm(
        subscription_id="***", # 图像分类算法的订阅ID，自行前往算法管理页面进行查看
        item_version_id="10.1.0", # 订阅算法的版本号，该示例为10.0.0版本
parameters=[
                wf.AlgorithmParameters(name="task_type", value="image_classification_v2"),
                wf.AlgorithmParameters(name="model_name", value="resnet_v1_50"),
                wf.AlgorithmParameters(name="do_train", value="True"),
                wf.AlgorithmParameters(name="do_eval_along_train", value="True"),
                wf.AlgorithmParameters(name="variable_update", value="horovod"),
                wf.AlgorithmParameters(name="learning_rate_strategy", value="0.002"),
                wf.AlgorithmParameters(name="batch_size", value="64"),
                wf.AlgorithmParameters(name="eval_batch_size", value="64"),
                wf.AlgorithmParameters(name="evaluate_every_n_epochs", value="1.0"),
                wf.AlgorithmParameters(name="save_model_secs", value="60"),
                wf.AlgorithmParameters(name="save_summary_steps", value="10"),
                wf.AlgorithmParameters(name="log_every_n_steps", value="10"),
                wf.AlgorithmParameters(name="do_data_cleaning", value="True"),
                wf.AlgorithmParameters(name="use_fp16", value="True"),
                wf.AlgorithmParameters(name="xla_compile", value="True"),
                wf.AlgorithmParameters(name="data_format", value="NCHW"),
                wf.AlgorithmParameters(name="best_model", value="True"),
                wf.AlgorithmParameters(name="jpeg_preprocess", value="True"),
                wf.AlgorithmParameters(name="do_model_analysis", value="True"),
                wf.AlgorithmParameters(name="wf_metric_log", value="True"),
            ]

    ),
    inputs=[wf.steps.JobInput(name="data_url", data=dataset)],
    outputs=[wf.steps.JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))],
    spec=wf.steps.JobSpec(
        resource=wf.steps.JobResource(
            flavor=wf.Placeholder(
                name="training_flavor",
                placeholder_type=wf.PlaceholderType.JSON,
                description="训练资源规格"
            )
        )
    )
)

# 构建工作流对象
workflow = wf.Workflow(
    name="image-classification-ResNeSt",
    desc="this is a image classification workflow",
    steps=[job_step],
    session=session, # 补充鉴权对象
    storages=[output_storage]
)

# 工作流默认创建在default工作空间下，可以通过以下方式指定工作流归属的空间
# workflow = wf.Workflow(
#     name="image-classification-ResNeSt",
#     desc="this is a image classification workflow",
#     steps=[job_step],
#     session=session, # 补充鉴权对象
#     storages=[output_storage],
#     workspace=wf.resource.Workspace(workspace_id="***")
# )
# 其中workspace_id可前往ModelArts页面的工作空间服务中进行查看

步骤四：发布Workflow至运行态

发布Workflow至运行态完成后需要进行配置，详细参考2。更多发布方式请参考发布Workflow。

  1. Workflow开发完成后，执行如下代码发布Workflow至运行态。日志打印显示发布成功，则可前往ModelArts的Workflow页面中查看新发布的工作流。
    workflow.release()
    图3 发布成功
  2. 前往ModelArts控制台去查看新发布的Workflow，进入Workflow详情，单击“配置”进行参数配置。工作流相关的配置执行操作可参考如何使用Workflow。
    图4 发布工作流

步骤5：清除Workflow资源

删除Workflow

  1. 在ModelArts管理控制台，左侧导航栏单击“开发空间>Workflow”。
  2. 进入Workflow列表页，选择生成的Workflow（未运行的与运行的两条）。
  3. 在相应的Workflow操作列单击“更多>删除”。
  4. 在弹出的“确认删除Workflow”弹窗中，输入“delete”后单击“确定”。

删除Notebook实例

  1. 在ModelArts管理控制台，左侧导航栏单击“开发空间>Notebook”。
  2. 在Notebook列表中，单击操作列的“删除”，在弹出的确认对话框中，确认信息无误，然后单击“确定”，完成删除操作。

删除OBS桶

  1. 在控制台左侧导航栏的服务列表，选择“对象存储服务OBS”，进入OBS服务详情页面。
  2. 在左侧导航栏选择“桶列表”，在列表详情，找到自己创建的OBS桶，进入OBS桶详情。
  3. 在桶的详情页，左侧导航栏选择“对象”，在右侧“名称”列选中不需要的存储对象，单击上方的“删除”或者在操作列单击“更多”，选择“删除”，即可删除相应的存储对象。

相关文档