开发第一条Workflow
本文介绍如何开发第一条Workflow。更多节点的构建参数请参考创建Workflow节点。
步骤一:安装开发环境
本案例提供了两种安装开发环境的方法,您可根据使用习惯选择。
方法一:使用JupyterLab打开Notebook实例准备环境
- 创建Notebook实例,“WebIDE”选中“JupyterLab”。
当Notebook状态变为“运行中”时,表示Notebook创建成功。
- 在“Notebook”页面,单击操作列的“接入环境”,在“接入方式”对话框的“WebIDE”页签,单击“JupyterLab 接入”右侧的“接入”,进入JupyterLab页面。JupyterLab详细操作请参见JupyterLab简介及常用操作。
- 创建一个ipynb文件。 图1 新建ipynb文件
然后执行如下命令。如果能成功导入,则表示环境准备完成。
from modelarts import workflow as wf
如果执行失败,可执行如下命令进行手动安装。!rm modelarts*.whl !wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.1/modelarts-1.4.18-py2.py3-none-any.whl !wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.1/modelarts_workflow-1.0.1-py2.py3-none-any.whl !pip uninstall -y modelarts modelarts-workflow !pip install modelarts-1.4.18-py2.py3-none-any.whl !pip install modelarts_workflow-1.0.1-py2.py3-none-any.whl
如果导入失败,建议重新执行安装命令,或者重启kernel后再次执行安装命令。
方法二:使用本地IDE远程连接Notebook准备环境
使用本地IDE如PyCharm开发工作流,您只需专注于本地代码开发即可。
在本地IDE的终端运行如下命令进行环境准备。Python版本要求:3.7.x或以上版本。
rm modelarts*.whl wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts-1.4.19-py2.py3-none-any.whl wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts_workflow-1.0.2-py2.py3-none-any.whl pip uninstall -y modelarts modelarts-workflow pip install modelarts-1.4.19-py2.py3-none-any.whl pip install modelarts_workflow-1.0.2-py2.py3-none-any.whl
使用本地IDE进行开发时,配置好PyCharm环境后,在代码中还需要使用AK-SK认证模式,示例代码如下。
from modelarts.session import Session # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 __AK = os.environ["HUAWEICLOUD_SDK_AK"] __SK = os.environ["HUAWEICLOUD_SDK_SK"] # 如果进行了加密还需要进行解密操作 session = Session(access_key=__AK, secret_key=__SK, project_id='***', region_name='***')
下载ModelArts SDK安装包和Workflow SDK安装包时,建议您同时下载校验文件,校验安装包的完整性,避免由于安装包下载问题导致后续的业务问题。
- 依次完成下载ModelArts SDK安装包、校验文件和Workflow SDK安装包、校验文件。
- 将SDK包及对应的校验文件放在同一目录下,使用openssl工具进行完整性校验,Workflow SDK校验示例如下:
openssl cms -verify -binary -in modelarts_workflow-*.*.*-py2.py3-none-any.whl.cms -inform DER -content modelarts_workflow-*.*.*-py2.py3-none-any.whl -noverify > ./test
出现如下信息则表示校验通过。
Verification successful
确保步骤一:安装开发环境完成后,在ModelArts的Notebook环境中,通过JupyterLab输入如下示例代码。
from modelarts import workflow as wf
# 定义统一存储对象管理输出目录
output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置")
# 数据集对象
dataset = wf.data.DatasetPlaceholder(name="input_data")
# 创建训练作业
job_step = wf.steps.JobStep(
name="training_job",
title="图像分类训练",
algorithm=wf.AIGalleryAlgorithm(
subscription_id="***", # 图像分类算法的订阅ID,自行前往算法管理页面进行查看,可选参数,此处以订阅算法举例
item_version_id="1.0.1", # 订阅算法的版本号,该示例为1.0.1版本,可选参数,此处以订阅算法举例
parameters=[
wf.AlgorithmParameters(name="task_type", value="image_classification_v2"),
wf.AlgorithmParameters(name="model_name", value="resnet_v1_50"),
wf.AlgorithmParameters(name="do_train", value="True"),
wf.AlgorithmParameters(name="do_eval_along_train", value="True"),
wf.AlgorithmParameters(name="variable_update", value="horovod"),
wf.AlgorithmParameters(name="learning_rate_strategy", value="0.002"),
wf.AlgorithmParameters(name="batch_size", value="64"),
wf.AlgorithmParameters(name="eval_batch_size", value="64"),
wf.AlgorithmParameters(name="evaluate_every_n_epochs", value="1.0"),
wf.AlgorithmParameters(name="save_model_secs", value="60"),
wf.AlgorithmParameters(name="save_summary_steps", value="10"),
wf.AlgorithmParameters(name="log_every_n_steps", value="10"),
wf.AlgorithmParameters(name="do_data_cleaning", value="True"),
wf.AlgorithmParameters(name="use_fp16", value="True"),
wf.AlgorithmParameters(name="xla_compile", value="True"),
wf.AlgorithmParameters(name="data_format", value="NCHW"),
wf.AlgorithmParameters(name="best_model", value="True"),
wf.AlgorithmParameters(name="jpeg_preprocess", value="True"),
wf.AlgorithmParameters(name="do_model_analysis", value="True"),
wf.AlgorithmParameters(name="wf_metric_log", value="True"),
]
),
inputs=[wf.steps.JobInput(name="data_url", data=dataset)],
outputs=[wf.steps.JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))],
spec=wf.steps.JobSpec(
resource=wf.steps.JobResource(
flavor=wf.Placeholder(
name="training_flavor",
placeholder_type=wf.PlaceholderType.JSON,
description="训练资源规格"
)
)
)
)
# 构建工作流对象
workflow = wf.Workflow(
name="image-classification-ResNeSt",
desc="this is a image classification workflow",
steps=[job_step],
storages=[output_storage]
)
# 工作流默认创建在default工作空间下,可以通过以下方式指定工作流归属的空间
# workflow = wf.Workflow(
# name="image-classification-ResNeSt",
# desc="this is a image classification workflow",
# steps=[job_step],
# storages=[output_storage],
# workspace=wf.resource.Workspace(workspace_id="***")
# )
# 其中workspace_id可前往ModelArts的工作空间服务中进行查看 上述代码示例在云上Notebook环境中可直接调试运行。
如果需要在本地IDE中使用,则需要补充相关的session鉴权内容,在本地IDE中运行,代码示例修改如下:
from modelarts import workflow as wf
from modelarts.session import Session
# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;
# 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
__AK = os.environ["HUAWEICLOUD_SDK_AK"]
__SK = os.environ["HUAWEICLOUD_SDK_SK"]
# 如果进行了加密还需要进行解密操作
session = Session(access_key=__AK, secret_key=__SK, project_id='***', region_name='***') # 根据账号的相关信息进行修改
# 定义统一存储对象管理输出目录
output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置")
# 数据集对象
dataset = wf.data.DatasetPlaceholder(name="input_data")
# 创建训练作业
job_step = wf.steps.JobStep(
name="training_job",
title="图像分类训练",
algorithm=wf.AIGalleryAlgorithm(
subscription_id="***", # 图像分类算法的订阅ID,自行前往算法管理页面进行查看
item_version_id="10.1.0", # 订阅算法的版本号,该示例为10.1.0版本
parameters=[
wf.AlgorithmParameters(name="task_type", value="image_classification_v2"),
wf.AlgorithmParameters(name="model_name", value="resnet_v1_50"),
wf.AlgorithmParameters(name="do_train", value="True"),
wf.AlgorithmParameters(name="do_eval_along_train", value="True"),
wf.AlgorithmParameters(name="variable_update", value="horovod"),
wf.AlgorithmParameters(name="learning_rate_strategy", value="0.002"),
wf.AlgorithmParameters(name="batch_size", value="64"),
wf.AlgorithmParameters(name="eval_batch_size", value="64"),
wf.AlgorithmParameters(name="evaluate_every_n_epochs", value="1.0"),
wf.AlgorithmParameters(name="save_model_secs", value="60"),
wf.AlgorithmParameters(name="save_summary_steps", value="10"),
wf.AlgorithmParameters(name="log_every_n_steps", value="10"),
wf.AlgorithmParameters(name="do_data_cleaning", value="True"),
wf.AlgorithmParameters(name="use_fp16", value="True"),
wf.AlgorithmParameters(name="xla_compile", value="True"),
wf.AlgorithmParameters(name="data_format", value="NCHW"),
wf.AlgorithmParameters(name="best_model", value="True"),
wf.AlgorithmParameters(name="jpeg_preprocess", value="True"),
wf.AlgorithmParameters(name="do_model_analysis", value="True"),
wf.AlgorithmParameters(name="wf_metric_log", value="True"),
]
),
inputs=[wf.steps.JobInput(name="data_url", data=dataset)],
outputs=[wf.steps.JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))],
spec=wf.steps.JobSpec(
resource=wf.steps.JobResource(
flavor=wf.Placeholder(
name="training_flavor",
placeholder_type=wf.PlaceholderType.JSON,
description="训练资源规格"
)
)
)
)
# 构建工作流对象
workflow = wf.Workflow(
name="image-classification-ResNeSt",
desc="this is a image classification workflow",
steps=[job_step],
session=session, # 补充鉴权对象
storages=[output_storage]
)
# 工作流默认创建在default工作空间下,可以通过以下方式指定工作流归属的空间
# workflow = wf.Workflow(
# name="image-classification-ResNeSt",
# desc="this is a image classification workflow",
# steps=[job_step],
# session=session, # 补充鉴权对象
# storages=[output_storage],
# workspace=wf.resource.Workspace(workspace_id="***")
# )
# 其中workspace_id可前往ModelArts页面的工作空间服务中进行查看 步骤三:发布Workflow至运行态
- Workflow开发完成后,执行如下代码发布Workflow至运行态。日志打印显示发布成功,则可前往ModelArts的Workflow页面中查看新发布的工作流。
workflow.release()
图2 发布成功
- 前往ModelArts管理控制台去查看新发布的Workflow,进入Workflow详情,单击“配置”进行参数配置。 图3 发布工作流
(可选)清除Workflow资源
如果后续不再使用此Workflow,可以参考以下步骤删除资源。
- 删除Workflow
- 在ModelArts管理控制台,左侧导航栏单击“开发空间 > Workflow”。
- 进入Workflow列表页,选择生成的Workflow(未运行的与运行的两条)。
- 在相应的Workflow的“操作”列,单击“更多 > 删除”。
- 在“删除Workflow”对话框,确认删除的信息无误后,输入“DELETE”,单击“确定”。
删除Notebook实例
- 在ModelArts管理控制台,左侧导航栏单击“开发空间 > Notebook”。
- 在Notebook列表中,单击操作列的“删除”,在弹出的确认对话框中,确认信息无误,然后单击“确定”,完成删除操作。
删除OBS桶
- 在OBS管理控制台左侧导航栏的服务列表
,选择“对象存储服务OBS”,进入OBS服务详情页面。 - 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,进入OBS桶详情。
- 在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的存储对象,单击上方的“删除”或者在操作列单击“更多”,选择“删除”,即可删除相应的存储对象。
