AI开发平台ModelArtsAI开发平台ModelArts

计算
弹性云服务器 ECS
裸金属服务器 BMS
云手机 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器 HECS
VR云渲游平台 CVR
特惠算力专区
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属企业存储服务
云存储网关 CSG
专属分布式存储服务 DSS
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘小站 IES
智能边缘平台 IEF
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
园区智能体 CampusGo
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
视频分析服务 VAS
语音交互服务 SIS
知识图谱 KG
人证核身服务 IVS
IoT物联网
设备接入 IoTDA
设备管理 IoTDM(联通用户专用)
全球SIM联接 GSL
IoT开发者服务
IoT数据分析
车联网服务 IoV
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
开发与运维
软件开发平台 DevCloud
项目管理 ProjectMan
代码托管 CodeHub
流水线 CloudPipeline
代码检查 CodeCheck
编译构建 CloudBuild
部署 CloudDeploy
云测 CloudTest
发布 CloudRelease
移动应用测试 MobileAPPTest
CloudIDE
Classroom
开源镜像站 Mirrors
应用魔方 AppCube
云性能测试服务 CPTS
应用管理与运维平台 ServiceStage
云应用引擎 CAE
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
资源管理服务 RMS
应用身份管理服务 OneAccess
区块链
区块链服务 BCS
可信跨链服务 TCS
智能协作
IdeaHub
开发者工具
SDK开发指南
API签名指南
DevStar
HCloud CLI
Terraform
Ansible
API问题定位指导
云生态
云市场
合作伙伴中心
华为云培训中心
其他
管理控制台
消息中心
产品价格详情
系统权限
我的凭证
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
应用编排服务 AOS
多云容器平台 MCP
基因容器 GCS
容器洞察引擎 CIE
云原生服务中心 OSC
容器批量计算 BCE
容器交付流水线 ContainerOps
应用服务网格 ASM
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB (for openGauss)
云数据库 GaussDB(for MySQL)
云数据库 GaussDB NoSQL
数据管理服务 DAS
数据库和应用迁移 UGO
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据湖治理中心 DGC
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
API网关 APIG
分布式缓存服务 DCS
分布式消息服务RocketMQ版
企业应用
域名注册服务 Domains
云解析服务 DNS
云速建站 CloudSite
网站备案
华为云WeLink
会议
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMAExchange
API全生命周期管理 ROMA API
安全与合规
安全技术与应用
DDoS防护 ADS
Web应用防火墙 WAF
云防火墙 CFW
应用信任中心 ATC
企业主机安全 HSS
容器安全服务 CGS
云堡垒机 CBH
数据库安全服务 DBSS
数据加密服务 DEW
数据安全中心 DSC
云证书管理服务 CCM
SSL证书管理 SCM
漏洞扫描服务 VSS
态势感知 SA
威胁检测服务 MTD
管理检测与响应 MDR
安全治理云图 Compass
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
专属云
专属计算集群 DCC
解决方案
高性能计算 HPC
SAP
游戏云
混合云灾备
华为工业云平台 IMC
价格
成本优化最佳实践
专属云商业逻辑
用户服务
帐号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
文档首页> AI开发平台ModelArts> 最佳实践> 旧版训练(即将下线)> 使用旧版训练预置算法实现花卉识别(即将下线)
更新时间:2021-11-06 GMT+08:00
分享

使用旧版训练预置算法实现花卉识别(即将下线)

本教程适用于旧版训练。旧版训练即将下线,请使用新版训练教程,具体请参见使用AI Gallery订阅的算法构建模型

针对有一定AI基础的AI初学者,ModelArts基于业界的主流引擎提供了预置算法,无需关注模型开发过程,直接使用预置算法对已有数据进行训练,并快速部署为服务。预置算法可用于物体类别和位置、图像分类等场景。

本章节提供了一个花卉图像分类应用的样例,帮助您快速熟悉使用ModelArts预置算法构建模型的过程。此样例针对预置的花卉图像数据集,对已有图像数据进行标注,然后使用预置的“ResNet_v1_50”算法对数据进行训练,得到一个可用的模型,最后,将此模型部署为在线服务。部署完成后,用户可通过在线服务识别输入图片的花卉种类。

开始使用样例前,请仔细阅读准备工作罗列的要求,提前完成准备工作。使用预置算法完成模型构建的步骤如下所示:

准备工作

  • 已注册华为云帐号,且在使用ModelArts前检查帐号状态,帐号不能处于欠费或冻结状态。
  • 当前帐号已完成访问授权的配置。如未完成,请参考使用委托授权针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。
  • 已在OBS服务中创建桶和文件夹,用于存放样例数据集以及模型。如下示例中,请创建命名为“test-modelarts”的桶,并创建如表1所示的文件夹。
    创建OBS桶和文件夹的操作指导请参见创建桶新建文件夹。确保您使用的OBS目录与ModelArts在同一区域。
    表1 文件夹列表

    文件夹名称

    用途

    “dataset-flowers”

    用于存储数据集。

    “model-test”

    用于存储训练输出的模型和预测文件。

    “train-log”

    用于存储训练作业的日志。

步骤1:准备数据

ModelArts在公共OBS桶中提供了花卉的示例数据集,命名为“Flowers-Data-Set”,因此,本文的操作示例使用此数据集进行模型构建。您需要执行如下操作,将数据集上传至您的OBS目录下,即准备工作中您创建的OBS目录“test-modelarts/dataset-flowers”

  • 由于“Flowers-Data-Set”数据集已完成数据标注,数据集中文件格式为“.txt”是对应图片的标注文件,因此在此操作步骤中忽略了数据标注操作。
  • 如果您想使用自己的数据集,可跳过此步骤,直接将数据上传至OBS文件夹中,并在步骤2:训练模型操作中直接选择此目录即可。如果您使用的数据集未进行标注,在创建训练作业前请在“数据管理>数据集”页面创建数据集并进行人工标注。
  1. 单击数据集下载链接数据集下载链接,将“Flowers-Data-Set”数据集下载至本地。
  2. 在本地,将“Flowers-Data-Set.zip”压缩包解压。例如,解压至本地“Flowers-Data-Set”文件夹下。
  3. 参考上传文件,使用批量上传方式将“Flowers-Data-Set”文件夹下的所有文件上传至“test-modelarts/dataset-flowers”OBS路径下。

步骤2:训练模型

数据准备完成后,您可以创建一个训练作业,选用预置算法“ResNet_v1_50”,并最终生成一个可用的模型。

“ResNet_v1_50”算法基于“TensorFlow, TF-1.8.0-python2.7”引擎,其用途为图像分类。如果您想获取更多预置算法的介绍,您可以在“训练作业”页面中,单击“预置算法”页签,了解ModelArts提供的算法信息,如用途、引擎类型、精度等。

  1. 在ModelArts管理控制台,在左侧导航栏中选择“训练管理>训练作业”,进入“训练作业”管理页面。
  2. 单击“创建”,进入“创建训练作业”页面。
  3. “创建训练作业”页面,填写相关信息,参数填写指导请参见如下步骤。
    1. 在基本信息区域,“计费模式”“版本”为系统自动生成,不需修改。请根据界面提示填写“名称”“描述”
      图1 填写名称和描述
    2. 在参数配置区域,选择“算法来源”,设置“数据来源”“训练输出位置”“运行参数”“作业日志路径”
      • “算法来源”:单击“选择”,从“预置算法”列表中,选择“ResNet_v1_50”算法。
      • “数据来源”:由于导入的数据集已完成标注,因此直接从数据存储位置导入即可。单击“数据存储位置”,然后单击文本框右侧的“选择”,选择数据集所在的OBS路径,如“/test-modelarts/dataset-flowers/”
      • “训练输出位置”:从已有的OBS桶中选择模型和预测文件存储路径。使用准备工作中已创建好的“model-test”文件夹。如果没有可用文件夹,您可以单击“选择”,在弹出对话框中新建文件夹。
      • “运行参数”:选择“ResNet_v1_50”算法后,默认包含“max_epoches”参数,默认值为“100”。针对此示例,建议将“max_epoches”参数值修改为“10”,1个epoch代表整个数据集训练一遍,此运行参数表示训练10个epoch,“max_epoches”值越大训练时间越长。
      • “作业日志路径”:从已有的OBS桶中选择日志存储路径。使用准备工作中已创建好的“train-log”文件夹。如果没有可用文件夹,您可以单击“选择”,在弹出对话框中新建文件夹。
      图2 参数配置
    3. 在资源设置区域,选择“公共资源池”,同时设置“规格”“计算节点个数”

      如果选择使用免费规格,请仔细阅读提示信息,然后勾选“我已阅读并同意以上内容”

      图3 设置使用的资源
    4. 单击“下一步”完成信息填写。
  4. “规格确认”页面,确认训练作业的参数信息,确认无误后单击“提交”
  5. “训练作业”管理页面,可以查看新建训练作业的状态。训练作业的创建和运行需要一些时间,预计十几分钟,当状态变更为“运行成功”时,表示训练作业创建完成。

    您可以单击训练作业的名称,可进入此作业详情页面,了解训练作业的“配置信息”“日志”“资源占用情况”等信息。在“训练输出位置”所在的OBS路径中,即“/test-modelarts/model-test/”路径,可以获取到生成的模型文件。

    图4 训练作业详情

步骤3:(可选)创建可视化作业,查看模型训练过程

目前ModelArts提供的可视化作业默认为TensorBoard类型的作业。TensorBoard是一个可视化工具,能够有效地展示TensorFlow或MXNet在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息。可视化作业当前只支持基于TensorFlow和MXNet引擎的训练作业。

如果训练详情页的详细信息已足够支撑您判断模型好坏并构建模型,您可以选择跳过此步骤,直接执行步骤4:导入模型的操作。

  1. 在ModelArts管理控制台,在左侧导航栏中选择“训练管理 > 训练作业”,然后单击“可视化作业”页签进入“可视化作业”管理页面。
  2. “可视化作业”管理页面,单击“创建”
  3. “创建可视化作业”页面,设置相关参数,然后单击“下一步”
    可视化作业的类型默认为“可视化作业”,且不可更改。设置可视化作业的“名称”,以及“训练输出位置”“训练输出位置”需要设置为训练作业中的“训练输出位置”,上述步骤中“训练输出位置”“/test-modelarts/model-test/”“自动停止”启用,并设置为“1小时后”停止,避免产生不必要的费用。
    图5 设置可视化作业参数信息
  4. “规格确认”页面,信息确认完毕后,单击“提交”
  5. 进入“可视化作业”管理页面,等待一段时间,当可视化作业的状态为“运行中”时,表示已创建成功。

    针对运行中的可视化作业,您可以单击可视化作业的名称跳转到其可视化界面。您可以通过此界面的信息,了解到此模型的具体训练过程。如果此模型训练过程和参数满足要求,您可以开始执行步骤4:导入模型操作。

    图6 可视化界面

步骤4:导入模型

训练完成的模型还是存储在OBS路径中,您可以将此模型导入到ModelArts中进行管理和部署。

  1. 在ModelArts管理控制台中,单击左侧导航栏中的模型管理>模型,进入“模型”页面。
  2. “模型”页面,单击“导入”
  3. “导入模型”页面,设置相关参数,然后单击“立即创建”
    设置模型的“名称”“版本”,然后在“元模型来源”参数中,选择“从训练中选择”,此时系统会自动选择您创建的训练作业,您可以从下拉框中可以选择系统中可用的训练作业。由于本示例数据较简单,其他参数采用默认值。
    图7 导入模型
  4. 模型导入完成后,系统将自动跳转至模型列表页面。您可以在模型列表页面查看已导入的模型及其版本。
    图8 模型列表

步骤5:部署上线

模型导入完成后,当状态显示为“正常”时,可以将模型部署上线,可部署为“在线服务”“批量服务”“边缘服务”。如下操作步骤以部署为在线服务为例。

  1. “模型管理 > 模型”页面,单击模型名称左侧的小三角,打开此模型下的所有版本。在对应版本所在行,单击操作列的“部署”,然后在下拉框中选择“在线服务”,进入“部署”页面。
  2. “部署”页面中,设置相关参数,然后单击“下一步”

    设置在线服务的“名称”,将“是否自动停止”功能启用。在“选择模型及配置”区域中,系统将自动选择步骤4:导入模型中的模型及其版本,在“计算节点规格”右侧下拉框中选择使用的资源,本示例选用“CPU:2核 8GiB”资源部署在线服务。其他参数使用默认值。

    “数据采集”“难例筛选”功能,建议使用默认值,保持关闭。
    图9 部署为在线服务
  3. “规格确认”页面,确认信息完毕后,单击“提交”
  4. “部署上线 > 在线服务”页面,您可以查看在线服务的相关信息。由于模型部署上线需要花费一些时间,请耐心等待几分钟。当在线服务的状态为“运行中”时,表示在线服务已部署完成。

步骤6:测试服务

在线服务部署成功后,您可以进入在线服务,发起预测请求进行测试。

  1. “在线服务”管理页面,单击在线服务名称,进入在线服务详情页面。
  2. 在线服务详情页面中,单击“预测”页签,进入预测页面。
  3. “选择预测图片文件”右侧,单击“上传”按钮,上传一张带花的图片,然后单击“预测”

    预测完成后,预测结果显示区域将展示预测结果,根据预测结果得分,可识别出此图片的花为“daisy”

    由于此处是测试服务,为保证测试效果,建议选择图片时,不要使用示例数据集中已有的图片。

    图10 预测结果

步骤7:清除相应资源,避免产生费用

为避免产生不必要的费用,在完成试用后,建议您删除相关资源,如在线服务、可视化作业、训练作业、数据及其OBS目录。

  • 删除在线服务:在“在线服务”页面,单击操作列的“更多>删除”
  • 删除可视化作业:在“训练作业>可视化作业”页面,单击操作列的“删除”
  • 删除训练作业:在“训练作业”页面,单击操作列的“删除”
  • 删除数据:前往OBS,删除上传的数据,然后删除文件夹及OBS桶。
分享:

    相关文档

    相关产品

关闭导读