# 开发第一条Workflow 本章节提供了一个基于图像分类算法，构建包含训练单节点的Workflow的样例。更多节点的构建参数请参考[创建Workflow节点](https://support.huaweicloud.com/usermanual-standard-modelarts/modelarts_workflow_0363.html)。 #### 视频介绍 #### 步骤一：安装开发环境 本案例提供了两种安装开发环境的方法，您可根据使用习惯选择。 **方法一：使用JupyterLab打开Notebook实例准备环境** 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，进入"开发空间\>Notebook"。 2. 单击"创建"，进入创建页面，选择默认参数后，单击"立即创建"，确认信息无误后单击"提交"。任务提交成功后单击"立即返回"跳转至Notebook列表页。Notebook实例更多参数介绍请参见[创建Notebook实例](https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_3495.html)章节。 3. 查看[2]中创建好的实例，确保其状态为"运行中"，单击操作列的"打开"，进入JupyterLab页面。JupyterLab详细操作请参见[JupyterLab简介及常用操作](https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0013.html)。 4. 创建一个ipynb文件。 图1新建ipynb文件 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001941945586.png "点击放大") 然后执行如下命令。如果能成功导入，则表示环境准备完成。 ``` from modelarts import workflow as wf ``` 如果执行失败，可执行如下命令进行手动安装。 ``` !rm modelarts*.whl !wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.1/modelarts-1.4.18-py2.py3-none-any.whl !wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.1/modelarts_workflow-1.0.1-py2.py3-none-any.whl !pip uninstall -y modelarts modelarts-workflow !pip install modelarts-1.4.18-py2.py3-none-any.whl !pip install modelarts_workflow-1.0.1-py2.py3-none-any.whl ``` 如果导入失败，建议重新执行安装命令，或者重启kernel后再次执行安装命令。 **方法二：使用本地IDE远程连接Notebook准备环境** 使用本地IDE如PyCharm开发工作流，您只需专注于本地代码开发即可。 在本地IDE的终端运行如下命令进行环境准备。Python版本要求：3.7.x或以上版本。 ``` rm modelarts*.whl wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts-1.4.19-py2.py3-none-any.whl wget -N https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts_workflow-1.0.2-py2.py3-none-any.whl pip uninstall -y modelarts modelarts-workflow pip install modelarts-1.4.19-py2.py3-none-any.whl pip install modelarts_workflow-1.0.2-py2.py3-none-any.whl ``` 使用本地IDE进行开发时，配置好PyCharm环境后，在代码中还需要使用AK-SK认证模式，示例代码如下。 ``` from modelarts.session import Session # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 __AK = os.environ["HUAWEICLOUD_SDK_AK"] __SK = os.environ["HUAWEICLOUD_SDK_SK"] # 如果进行了加密还需要进行解密操作 session = Session(access_key=__AK, secret_key=__SK, project_id='***', region_name='***') ``` 下载ModelArts SDK安装包和Workflow SDK安装包时，建议您同时下载校验文件，校验安装包的完整性，避免由于安装包下载问题导致后续的业务问题。 1. 依次完成下载ModelArts SDK安装包、校验文件和Workflow SDK安装包、校验文件。 - [下载ModelArts SDK安装包](https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts-1.4.19-py2.py3-none-any.whl) - [下载ModelArts SDK校验文件](https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts-1.4.19-py2.py3-none-any.whl.cms) - [下载Workflow SDK安装包](https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts_workflow-1.0.2-py2.py3-none-any.whl) - [下载Workflow SDK校验文件](https://cn-north-4-training-test.obs.cn-north-4.myhuaweicloud.com/workflow-apps/v1.0.2/modelarts_workflow-1.0.2-py2.py3-none-any.whl.cms) 2. 将SDK包及对应的校验文件放在同一目录下，使用openssl工具进行完整性校验，Workflow SDK校验示例如下： ``` openssl cms -verify -binary -in modelarts_workflow-*.*.*-py2.py3-none-any.whl.cms -inform DER -content modelarts_workflow-*.*.*-py2.py3-none-any.whl -noverify > ./test ``` 出现如下信息则表示校验通过。 ``` Verification successful ``` #### 步骤二：准备数据 **准备算法** 此处以订阅算法举例，您也可以自己准备算法。 1. 从AI Gallery订阅一个图像分类的算法进入AI Gallery\>资产集市\>算法，搜索自动学习算法-图像分类。 1. 单击算法右侧的"订阅"。 2. 在弹出的窗口中，勾选"我已阅读并同意 《数据安全与隐私风险承担条款》 和 《华为云AI Gallery服务协议》"后，单击"继续订阅"。 2. 订阅完成后，单击"前往控制台"，选择云服务区域为"华北-北京四"，单击"确定"后系统页面会自动跳转至"算法管理\>我的订阅"。单击"产品名称"列的小圆点选中该算法，下方白色提示框会显示所选算法的基本信息和版本列表。 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001969104517.png "点击放大") **准备数据集** 1. 进入AI Gallery，搜索8类常见生活垃圾图片数据集。 2. 单击"下载"，选择云服务区域"华北-北京四"，单击"确定"进入下载详情页。 3. 填写如下参数： - 下载方式：ModelArts数据集。 - 目标区域：华北-北京四。 - 数据类型：图片。 - 数据集输出位置：用来存放输出的数据标注的相关信息，如版本发布生成的Manifest文件等。单击![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001969104513.png)图标选择OBS桶下的空目录，且此目录不能与输入位置一致，也不能为输入位置的子目录。 - 数据集输入位置：用来存放源数据集信息，例如本案例中从Gallery下载的数据集。单击![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001941945578.png)图标选择您的OBS桶下的任意一处目录，但不能与输出位置为同一目录。 - 名称：默认自动生成，也可自定义修改。 - 描述：数据集信息描述。 4. 单击"确定"，跳转至"我的数据 \> 我的下载"页签，等待下载完成（下载完成大概5分钟左右，请您耐心等待）。 图2我的下载 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001968944765.png "点击放大") 5. 下载完成后，登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在页面选择"资产管理\>数据集"。 6. 选择上一步下载好的数据集，单击数据集名称进入数据集概览详情页面。 7. 在概览详情页，单击右上角发的"发布\>发布新版本"，单击"确定"。 #### 步骤三：编写Workflow 本样例基于图像分类算法，构建包含训练单节点的Workflow。 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/notice_3.0-zh-cn.png) Workflow编写时，使用到的其他Workflow节点对象导入请参考[编排Workflow](https://support.huaweicloud.com/usermanual-standard-modelarts/modelarts_workflow_0400.html)。 确保[步骤一：安装开发环境]完成后，在ModelArts的Notebook环境中，通过JupyterLab输入如下示例代码。 ``` from modelarts import workflow as wf # 定义统一存储对象管理输出目录 output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置") # 数据集对象 dataset = wf.data.DatasetPlaceholder(name="input_data") # 创建训练作业 job_step = wf.steps.JobStep( name="training_job", title="图像分类训练", algorithm=wf.AIGalleryAlgorithm( subscription_id="***", # 图像分类算法的订阅ID，自行前往算法管理页面进行查看，可选参数，此处以订阅算法举例 item_version_id="1.0.1", # 订阅算法的版本号，该示例为1.0.1版本，可选参数，此处以订阅算法举例 parameters=[ wf.AlgorithmParameters(name="task_type", value="image_classification_v2"), wf.AlgorithmParameters(name="model_name", value="resnet_v1_50"), wf.AlgorithmParameters(name="do_train", value="True"), wf.AlgorithmParameters(name="do_eval_along_train", value="True"), wf.AlgorithmParameters(name="variable_update", value="horovod"), wf.AlgorithmParameters(name="learning_rate_strategy", value="0.002"), wf.AlgorithmParameters(name="batch_size", value="64"), wf.AlgorithmParameters(name="eval_batch_size", value="64"), wf.AlgorithmParameters(name="evaluate_every_n_epochs", value="1.0"), wf.AlgorithmParameters(name="save_model_secs", value="60"), wf.AlgorithmParameters(name="save_summary_steps", value="10"), wf.AlgorithmParameters(name="log_every_n_steps", value="10"), wf.AlgorithmParameters(name="do_data_cleaning", value="True"), wf.AlgorithmParameters(name="use_fp16", value="True"), wf.AlgorithmParameters(name="xla_compile", value="True"), wf.AlgorithmParameters(name="data_format", value="NCHW"), wf.AlgorithmParameters(name="best_model", value="True"), wf.AlgorithmParameters(name="jpeg_preprocess", value="True"), wf.AlgorithmParameters(name="do_model_analysis", value="True"), wf.AlgorithmParameters(name="wf_metric_log", value="True"), ] ), inputs=[wf.steps.JobInput(name="data_url", data=dataset)], outputs=[wf.steps.JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))], spec=wf.steps.JobSpec( resource=wf.steps.JobResource( flavor=wf.Placeholder( name="training_flavor", placeholder_type=wf.PlaceholderType.JSON, description="训练资源规格" ) ) ) ) # 构建工作流对象 workflow = wf.Workflow( name="image-classification-ResNeSt", desc="this is a image classification workflow", steps=[job_step], storages=[output_storage] ) # 工作流默认创建在default工作空间下，可以通过以下方式指定工作流归属的空间 # workflow = wf.Workflow( # name="image-classification-ResNeSt", # desc="this is a image classification workflow", # steps=[job_step], # storages=[output_storage], # workspace=wf.resource.Workspace(workspace_id="***") # ) # 其中workspace_id可前往ModelArts的工作空间服务中进行查看 ``` 上述代码示例在云上Notebook环境中可直接调试运行。 如果需要在本地IDE中使用，则需要补充相关的session鉴权内容，在本地IDE中运行，代码示例修改如下： ``` from modelarts import workflow as wf from modelarts.session import Session # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 __AK = os.environ["HUAWEICLOUD_SDK_AK"] __SK = os.environ["HUAWEICLOUD_SDK_SK"] # 如果进行了加密还需要进行解密操作 session = Session(access_key=__AK, secret_key=__SK, project_id='***', region_name='***') # 根据账号的相关信息进行修改 # 定义统一存储对象管理输出目录 output_storage = wf.data.OutputStorage(name="output_storage", description="输出目录统一配置") # 数据集对象 dataset = wf.data.DatasetPlaceholder(name="input_data") # 创建训练作业 job_step = wf.steps.JobStep( name="training_job", title="图像分类训练", algorithm=wf.AIGalleryAlgorithm( subscription_id="***", # 图像分类算法的订阅ID，自行前往算法管理页面进行查看 item_version_id="10.1.0", # 订阅算法的版本号，该示例为10.1.0版本 parameters=[ wf.AlgorithmParameters(name="task_type", value="image_classification_v2"), wf.AlgorithmParameters(name="model_name", value="resnet_v1_50"), wf.AlgorithmParameters(name="do_train", value="True"), wf.AlgorithmParameters(name="do_eval_along_train", value="True"), wf.AlgorithmParameters(name="variable_update", value="horovod"), wf.AlgorithmParameters(name="learning_rate_strategy", value="0.002"), wf.AlgorithmParameters(name="batch_size", value="64"), wf.AlgorithmParameters(name="eval_batch_size", value="64"), wf.AlgorithmParameters(name="evaluate_every_n_epochs", value="1.0"), wf.AlgorithmParameters(name="save_model_secs", value="60"), wf.AlgorithmParameters(name="save_summary_steps", value="10"), wf.AlgorithmParameters(name="log_every_n_steps", value="10"), wf.AlgorithmParameters(name="do_data_cleaning", value="True"), wf.AlgorithmParameters(name="use_fp16", value="True"), wf.AlgorithmParameters(name="xla_compile", value="True"), wf.AlgorithmParameters(name="data_format", value="NCHW"), wf.AlgorithmParameters(name="best_model", value="True"), wf.AlgorithmParameters(name="jpeg_preprocess", value="True"), wf.AlgorithmParameters(name="do_model_analysis", value="True"), wf.AlgorithmParameters(name="wf_metric_log", value="True"), ] ), inputs=[wf.steps.JobInput(name="data_url", data=dataset)], outputs=[wf.steps.JobOutput(name="train_url", obs_config=wf.data.OBSOutputConfig(obs_path=output_storage.join("/train_output/")))], spec=wf.steps.JobSpec( resource=wf.steps.JobResource( flavor=wf.Placeholder( name="training_flavor", placeholder_type=wf.PlaceholderType.JSON, description="训练资源规格" ) ) ) ) # 构建工作流对象 workflow = wf.Workflow( name="image-classification-ResNeSt", desc="this is a image classification workflow", steps=[job_step], session=session, # 补充鉴权对象 storages=[output_storage] ) # 工作流默认创建在default工作空间下，可以通过以下方式指定工作流归属的空间 # workflow = wf.Workflow( # name="image-classification-ResNeSt", # desc="this is a image classification workflow", # steps=[job_step], # session=session, # 补充鉴权对象 # storages=[output_storage], # workspace=wf.resource.Workspace(workspace_id="***") # ) # 其中workspace_id可前往ModelArts页面的工作空间服务中进行查看 ``` #### 步骤四：发布Workflow至运行态 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png) 发布Workflow至运行态完成后需要配置，详细参考[2]。更多发布方式请参考[发布Workflow](https://support.huaweicloud.com/usermanual-standard-modelarts/modelarts_workflow_0402.html)。 1. Workflow开发完成后，执行如下代码发布Workflow至运行态。日志打印显示发布成功，则可前往ModelArts的Workflow页面中查看新发布的工作流。 ``` workflow.release() ``` 图3发布成功 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001941786274.png "点击放大") 2. 前往[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)去查看新发布的Workflow，进入Workflow详情，单击"配置"进行参数配置。 图4发布工作流 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001968944761.png "点击放大") #### （可选）清除Workflow资源 如果后续不再使用此Workflow，可以参考以下步骤删除资源。 **删除Workflow** 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，左侧导航栏单击"开发空间 \> Workflow"。 2. 进入Workflow列表页，选择生成的Workflow（未运行的与运行的两条）。 3. 在相应的Workflow的"操作"列，单击"更多 \> 删除"。 4. 在"删除Workflow"对话框，确认删除的信息无误后，输入"DELETE"，单击"确定"。 **删除Notebook实例** 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，左侧导航栏单击"开发空间 \> Notebook"。 2. 在Notebook列表中，单击操作列的"删除"，在弹出的确认对话框中，确认信息无误，然后单击"确定"，完成删除操作。 **删除OBS桶** 1. 在[OBS管理控制台](https://console.huaweicloud.com/obs)左侧导航栏的服务列表![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000001969104521.png)，选择"对象存储服务OBS"，进入OBS服务详情页面。 2. 在左侧导航栏选择"桶列表"，在列表详情，找到自己创建的OBS桶，进入OBS桶详情。 3. 在桶的详情页，左侧导航栏选择"对象"，在右侧"名称"列选中不需要的存储对象，单击上方的"删除"或者在操作列单击"更多"，选择"删除"，即可删除相应的存储对象。