# 开始使用 #### 通过函数工作流完成ModelArts与SFS Turbo的相应配置 1. 在华为云控制台打开[函数工作流 functiongraph](https://console.huaweicloud.com/functiongraph/?agencyId=66b48c4f5b8345abb343baccdefd464f®ion=cn-north-4&locale=zh-cn#/serverless/functionList)，打开对应函数。 图1打开对应函数 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001863084801.png) 2. 配置测试事件。单击"配置测试事件"下拉框配置测试事件，选择空白模板创建即可。 图2配置测试事件 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001877261581.png) 图3配置测试事件成功后自动生成事件名称 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001877262329.png) 3. 运行函数，完成相关配置，函数运行过程约2分钟。 图4运行函数 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830546336.png) 函数运行时间较长，出现如下回显为正常情况。可在日志中查看函数运行结果。 图5函数回显 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001863084741.png) 图6查看函数运行结果 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001826746962.png) 函数运行成功后，modelarts网络关联SFS Turbo，SFS Turbo绑定OBS。 图7modelarts关联SFS Turbo成功 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001863244593.png) 图8SFS Turbo关联OBS成功 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001816484740.png) #### 创建专属资源池 1. 购买服务器。 图9创建弹性集群 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001816484764.png) 图10按需选择服务器规格 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830389252.png) 2. 等待弹性集群创建成功后，即可开始开发、训练、推理作业。 图11弹性集群创建中 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001877207625.png) 图12弹性集群创建成功 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830568640.png) #### 创建训练作业 1. 准备数据集并上传到方案创建的OBS桶中。可在[AI Gallery](https://pangu.huaweicloud.com/gallery/asset-list.html?type=dataset)社区内下载数据集，以[波士顿数据集](https://pangu.huaweicloud.com/gallery/asset-detail.html?id=352d1388-f69c-4a84-b6e3-dba39fe9db72)为例。 图13选择数据集 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001828666362.png) 图14下载数据集 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001828677946.png) 图15选择目标位置 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001875385033.png) 图16单击新建文件夹，创建名称为input和output的文件夹 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001828623656.png) 图17选择input文件夹作为下载路径 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001828624932.png) 2. 准备自己需要训练的算法。可在[AI Gallery](https://pangu.huaweicloud.com/gallery/asset-list.html?type=dataset)社区内订阅算法，以[线性回归-LinearRegression](https://pangu.huaweicloud.com/gallery/asset-detail.html?id=c13c434c-411f-46d1-bfaf-5748cd42e16b)为例。 图18订阅算法 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001863084757.png) 3. 等待数据集下载完成后，即可创建训练作业。 图19创建训练作业 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001816325004.png) 图20选择订阅的自动学习算法-预测分析 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001877202593.png) 图21设置数据输入输出位置为方案创建的OBS桶内的input和output文件夹 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001875323817.png) 按照数据集内结构填写超参。本案例中，input_features_str填写内容为crim,zn,indus,chas,nox,rm,age,dis,rad,tax,ptratio,black,lstat；label_col填写内容为medv；tol参数修改默认值为0.0000000001。 图22填写超参 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001875325009.png) 图23选择专属资源与挂载SFS Turbo ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830404324.png) 图24等待训练作业执行 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830405704.png) 图25训练作业已完成 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830595370.png) #### 使用开发环境 1. 创建Notebook。 图26创建Notebook ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001816484752.png) 配置Notebook时，如果需要在Notebook内直接查看SFS Turbo内文件，请不要填写"存储配置-子目录挂载"一栏。 图27配置Notebook ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001877209753.png) 2. 打开notebook即可管理开发环境。 图28打开Notebook ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001877212097.png) #### 实现数据预热和数据异步留存功能 1. 实现数据预热功能。每次训练前需要读取OBS中的数据时，可以使用该功能将要用的数据提前上传到SFS Turbo中。 打开[函数工作流functiongraph](https://console.huaweicloud.com/functiongraph/?agencyId=66b48c4f5b8345abb343baccdefd464f®ion=cn-north-4&locale=zh-cn#/serverless/functionList)，打开带有preload-data前缀的函数。 图29打开对应函数 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830438822.png) 配置空白测试事件，运行函数即可触发预热功能。 图30配置空白测试事件，单击"配置测试事件"下拉框配置测试事件，选择空白模板创建即可 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001828285694.png) 图31运行函数成功 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001816484788.png) 如果函数出现下面异常回显，原因是委托暂未生效，请重试。 图32函数运行异常 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001816325024.png) 数据预热完成后，可在Notebook上查看预热到SFS Turbo上的数据。 图33查看预热数据 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001828561128.png) 1. 实现数据异步留存功能。当SFS Turbo内产生新文件后，可以使用该功能将新文件存到OBS中。每次训练完成后都可以用该功能存储模型，降低存储成本。 在notebook中可以在SFS Turbo内创建文件，以test文件夹中的文件为例。 图34SFS Turbo内的数据 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001816484760.png) 2. 打开[函数工作流functiongraph](https://console.huaweicloud.com/functiongraph/?agencyId=66b48c4f5b8345abb343baccdefd464f®ion=cn-north-4&locale=zh-cn#/serverless/functionList)，打开带有export-data前缀的函数。 图35打开对应函数 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001877318461.png) 本函数中默认留存的文件夹名称为output，需要改变数据留存的文件夹可以在环境变量中修改相应的值（本示例中将该值改成了test）。 图36需要修改的环境变量 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001863084753.png) 配置空白测试事件，单击"测试"运行函数即可触发数据异步留存功能。 图37配置空白测试事件，单击"配置测试事件"下拉框配置测试事件，选择空白模板创建即可 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001875005293.png) 图38单击测试按钮运行函数 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001874837605.png) 函数运行成功后，可以成功将数据留存在OBS桶内。 图39查看异步留存数据 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001863084769.png) 3. 如需要定时触发异步留存功能，可在函数内创建定时触发器实现。 图40查看异步留存数据 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001818332860.png) 触发器的触发频率可按照训练模型的周期设定，示例中为一小时。 #### 配置SFS Turbo数据淘汰策略 1. 等待SFSTurbo关联OBS成功后，进入[SFS Turbo控制台](https://console.huaweicloud.com/sfs/?region=cn-north-4#/sfs/manager/efslist)，选择方案生成的SFS Turbo，配置SFS Turbo数据淘汰策略，填写数据淘汰的时间即可。 图41选择SFS Turbo ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001863084761.png) 图42配置策略 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001816325044.png) 2. 触发数据淘汰策略需要将该数据留存到OBS中，可用[数据异步留存功能]实现。 3. 如果未访问某数据达到设定时间后，SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间。 ``` #该功能可在SFS目录下用命令创建大文件验证 truncate -s 1G test.txt #查看SFS Turbo占用空间 df -h ``` 图43经过设定时间后不再占用SFS Turbo空间 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830449922.png) 再次访问该文件时，将重新从OBS中加载文件数据内容。 图44重新加载文件 ![](https://support.huaweicloud.com/aait-aislt/zh-cn_image_0000001830450418.png)