AI开发平台ModelArtsAI开发平台ModelArts

计算
弹性云服务器 ECS
裸金属服务器 BMS
云手机 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器 HECS
VR云渲游平台 CVR
特惠算力专区
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属企业存储服务
云存储网关 CSG
专属分布式存储服务 DSS
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘小站 IES
智能边缘平台 IEF
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
园区智能体 CampusGo
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
视频分析服务 VAS
语音交互服务 SIS
知识图谱 KG
人证核身服务 IVS
IoT物联网
设备接入 IoTDA
设备管理 IoTDM(联通用户专用)
全球SIM联接 GSL
IoT数据分析 IoTA
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
开发与运维
软件开发平台 DevCloud
项目管理 ProjectMan
代码托管 CodeHub
流水线 CloudPipeline
代码检查 CodeCheck
编译构建 CloudBuild
部署 CloudDeploy
云测 CloudTest
发布 CloudRelease
移动应用测试 MobileAPPTest
CloudIDE
Classroom
开源镜像站 Mirrors
应用魔方 AppCube
云性能测试服务 CPTS
应用管理与运维平台 ServiceStage
云应用引擎 CAE
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
资源管理服务 RMS
应用身份管理服务 OneAccess
区块链
区块链服务 BCS
可信跨链服务 TCS
可信分布式身份服务
智能协作
IdeaHub
开发者工具
SDK开发指南
API签名指南
DevStar
HCloud CLI
Terraform
Ansible
云生态
云市场
合作伙伴中心
华为云培训中心
其他
管理控制台
消息中心
产品价格详情
系统权限
我的凭证
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
应用编排服务 AOS
多云容器平台 MCP
基因容器 GCS
容器洞察引擎 CIE
云原生服务中心 OSC
容器批量计算 BCE
容器交付流水线 ContainerOps
应用服务网格 ASM
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB (for openGauss)
云数据库 GaussDB(for MySQL)
云数据库 GaussDB NoSQL
数据管理服务 DAS
数据库和应用迁移 UGO
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据湖治理中心 DGC
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
API网关 APIG
分布式缓存服务 DCS
分布式消息服务RocketMQ版
企业应用
域名注册服务 Domains
云解析服务 DNS
云速建站 CloudSite
网站备案
商标注册
华为云WeLink
会议
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMAExchange
API全生命周期管理 ROMA API
安全与合规
安全技术与应用
DDoS防护 ADS
Web应用防火墙 WAF
云防火墙 CFW
应用信任中心 ATC
企业主机安全 HSS
容器安全服务 CGS
云堡垒机 CBH
数据库安全服务 DBSS
数据加密服务 DEW
数据安全中心 DSC
云证书管理服务 CCM
SSL证书管理 SCM
漏洞扫描服务 VSS
态势感知 SA
威胁检测服务 MTD
管理检测与响应 MDR
安全治理云图 Compass
认证测试中心 CTC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
专属云
专属计算集群 DCC
解决方案
高性能计算 HPC
SAP
混合云灾备
华为工业云平台 IMC
价格
成本优化最佳实践
专属云商业逻辑
用户服务
帐号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
文档首页> AI开发平台ModelArts> 最佳实践> 模型开发(自定义算法-新版训练)> 使用自定义算法构建模型(手写数字识别)
更新时间:2022-01-10 GMT+08:00
分享

使用自定义算法构建模型(手写数字识别)

本文为用户提供如何将本地的自定义算法通过简单的代码适配,实现在ModelArts上进行模型训练与部署的全流程指导。

示例采用MNIST数据集,实现手写数字图像识别应用。

开始使用如下样例前,请务必按准备工作指导完成必要操作。本指导以使用TensorFlow实现手写数字图像识别的样例为示例。

  1. 准备数据:获取MNIST数据集,并上传至OBS。
  2. 适配算法代码:改造本地算法代码适配ModelArts云上训练。
  3. 上传算法:将本地开发的算法上传至ModelArts。
  4. 训练模型:使用上传的算法进行模型训练。
  5. 部署AI应用:训练结束后,将模型导入ModelArts用于创建AI应用,并将AI应用部署为在线服务。
  6. 预测结果:发起预测请求获取预测结果。

准备工作

  • 已注册华为云帐号,且在使用ModelArts前检查帐号状态,帐号不能处于欠费或冻结状态。
  • 当前帐号已完成访问授权的配置。如未完成,请参考使用委托授权针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。
  • 已在OBS服务中创建桶和文件夹,用于存放样例数据集以及模型。如下示例中,请创建命名为“test-modelarts-cz”的桶,并创建如表1所示的文件夹。
    创建OBS桶和文件夹的操作指导请参见创建桶新建文件夹。请确保您使用的OBS与ModelArts在同一区域。具体操作可参见如何查看查看OBS桶与ModelArts是否在同一区域
    表1 待创建的OBS文件夹列表

    文件夹名称

    用途

    “dataset-mnist”

    用于存储数据集。

    “mnist-tensorflow-code”

    用于存储训练脚本。

    “mnist-model”

    用于存储训练输出的模型和预测文件。

准备数据

ModelArts在公共OBS桶中提供了MNIST数据集,命名为“Mnist-Data-Set”,因此,本文的操作示例使用此数据集进行模型构建。您需要执行如下操作,将数据集上传至您的OBS目录下,即准备工作中您创建的OBS目录“test-modelarts-cz/dataset-mnist”

  1. 单击数据集下载链接,将“Mnist-Data-Set”数据集下载至本地。
  2. 在本地,将“Mnist-Data-Set.zip”压缩包解压。例如,解压至本地“Mnist-Data-Set”文件夹下。
  3. 参考上传文件,使用批量上传方式将“Mnist-Data-Set”文件夹下的所有文件上传至“test-modelarts-cz/dataset-mnist”OBS路径下。

    “Mnist-Data-Set”数据集包含的内容如下所示,其中“.gz”为对应的压缩包。

    • “t10k-images-idx3-ubyte”:验证集,共包含10000个样本。
    • “t10k-images-idx3-ubyte.gz”:验证集的压缩包文件。
    • “t10k-labels-idx1-ubyte”:验证集标签,共包含10000个样本的类别标签。
    • “t10k-labels-idx1-ubyte.gz”:验证集标签的压缩包文件。
    • “train-images-idx3-ubyte”:训练集,共包含60000个样本。
    • “train-images-idx3-ubyte.gz”:训练集的压缩包文件。
    • “train-labels-idx1-ubyte”:训练集标签,共包含60000个样本的类别标签。
    • “train-labels-idx1-ubyte.gz”:训练集标签的压缩包文件。

适配算法代码

数据准备完成后,您需要将本地代码进行简单的代码适配,详细操作参见开发自定义脚本指导。

针对此示例,ModelArts提供了部署上线需使用的训练脚本、推理代码和配置文件。请获取示例文件并上传OBS指定路径,详细请参见表2
  1. 在gitee的ModelArts-Lab工程中,单击“克隆/下载”,然后单击“下载ZIP”,下载工程。
  2. 下载完成后,解压缩“ModelArts-Lab-master.zip”文件,然后在“\ModelArts-Lab-master\official_examples\Using Custom Algorithms to Build Models on ModelArts\codes”目录中获取到训练脚本“train_mnist_tf.py”、推理代码“customize_service.py”和配置文件“config.json”,并上传至对应OBS路径。上传文件至OBS的操作指导请参见上传文件
    表2 上传示例文件至OBS

    文件名称

    描述

    上传至如下OBS路径中

    “train_mnist_tf.py”

    训练脚本。

    “test-modelarts-cz/mnist-tensorflow-code”

    “customize_service.py”

    推理代码。

    “test-modelarts-cz/mnist-model/model”

    说明:
    • 请在训练作业完成后,再执行上传操作。
    • 训练任务完成后,会在“test-modelarts-cz/mnist-model”路径下自动生成model文件夹,用于存放训练输出的模型。如果训练作业运行多次,在“mnist-model”目录下将生成多种版本的目录,如“V0001”“V0002”,请基于训练作业的版本,将推理代码和配置文件上传至对应版本下的“model”文件夹内。

    “config.json”

    配置文件。

创建算法

  1. 在ModelArts管理控制台,进入“算法管理>我的算法”页面,单击左上角的“创建”
  2. 在创建算法页面,请参考下图填写相关信息。
    • “AI引擎”:勾选“显示旧版引擎”,下拉框中选择Tensorflow,TF-1.8.0-python3.6
    • “代码目录”:选择准备工作中已创建的代码目录路径“test-modelarts-cz/mnist-tensorflow-code”
    • “启动文件”:选择代码目录下上传的训练脚本“train_mnist_tf.py”
    • “输入数据配置”:设置数据输入代码路径参数data_url,设置后自动显示为默认超参。
    • “输出数据配置”:设置数据输出代码路径参数train_url,设置后自动显示为默认超参。
      图1 创建算法-填写基本信息
      图2 创建算法-填写创建方式
      图3 创建算法-配置输入输出
  3. 确认算法的参数信息,确认无误后单击“提交”
  4. “我的算法”页面,可单击算法名称,进入算法详情界面查看算法信息。

训练模型

算法创建完成后,您需要使用如下操作训练模型。

  1. 在ModelArts管理控制台,进入“训练管理 > 训练作业(New)”页面,单击左上角的“创建”
  2. “创建训练作业”页面,参考下图填写相关信息。
    • “算法>我的算法”:选择上一步创建的算法,系统默认选中最近一次创建的算法。
    • “训练输入”:选择数据存储位置,然后选择数据存储的OBS路径“test-modelarts-cz/dataset-mnist”
    • “训练输出”:选择准备工作中已创建好的OBS路径“test-modelarts-cz/mnist-model”
    • “资源类型 ”:此处选择GPU单卡即可,GPU: 1*NVIDIA-V100(32GB) | CPU: 8 核 64GB。
      图4 创建训练作业-填写基本信息
      图5 创建训练作业-选择算法
      图6 创建算法作业-配置训练输入输出
      图7 创建算法作业-配置资源规格

  3. 确认训练作业的参数信息,确认无误后单击“提交”
  4. 进入“训练管理 > 训练作业New”页面,当训练作业状态变为“已完成”时,即完成了模型训练过程。
    可以单击训练作业名称,进入作业详情界面查看训练作业日志信息。
    图8 查看训练作业状态

    训练作业需要花费一些时间,预计十几分钟。当训练时间超过一定时间(如1个小时),请及时手动停止,释放资源。否则会导致欠费,尤其对于使用GPU训练的模型项目。

部署AI应用

模型训练完成后,可以创建AI应用,将AI应用部署为在线预测服务。

  1. 在部署模型之前,获取推理代码“customize_service.py”和配置文件“config.json”并上传至OBS中。此推理代码和配置文件为ModelArts为操作样例提供的示例。您也可以基于模型包规范,开发自己所需的推理代码及配置文件。
  2. 在ModelArts管理控制台,单击左侧导航栏中的AI应用管理>AI应用,进入“我的AI应用”页面,单击“创建”
  3. “创建AI应用”页面,参考下图填写相关参数,然后单击“立即创建”

    “元模型来源”中,选择“从训练中选择>训练作业(New)”页签。系统会自动选择最近一次训练作业。AI引擎的值是系统自动写入的,无需设置。

    图9 导入模型-填写名称
    图10 导入模型-设置元模型来源

    在AI应用列表页面,当模型状态变为“正常”时,表示AI应用创建成功。

    图11 查看AI应用创建状态
  4. 单击AI应用名称左侧的小三角,打开此AI应用下的所有版本。在对应版本所在行,单击操作列“部署>在线服务”,将模型部署为在线服务。
    图12 部署在线服务
  5. “部署”页面,参考下图填写参数,然后根据界面提示完成在线服务创建。
    图13 部署模型

    完成服务部署后,系统自动跳转到在线服务页面,等待服务部署完成,当服务状态显示为“运行中”,表示服务已部署成功。

    图14 部署成功

预测结果

等待服务部署完成,当服务状态显示为“运行中”,表示服务已部署成功。

  1. “在线服务”页面,单击在线服务名称,进入服务详情页面。
  2. 单击“预测”页签,在“选择预测图片文件”右侧,单击“上传”按钮上传示例图片,然后单击“预测”

    预测完成后,预测结果显示区域将展示预测结果,根据预测结果内容,可识别出此图片的数字是“2”

    图15 示例图片
    图16 预测结果展示

清除资源

如果不再需要使用此模型及在线服务,建议清除相关资源,避免产生不必要的费用。
  • “在线服务”页面,“停止”“删除”刚创建的在线服务。
  • “AI应用管理”页面,“删除”刚创建的AI应用。
  • “训练作业New”页面,“删除”运行结束的训练作业。
  • 进入OBS,删除本示例使用的OBS桶及文件夹,以及文件夹的文件。
分享:

    相关文档

    相关产品

关闭导读