AI开发平台ModelArtsAI开发平台ModelArts

计算
弹性云服务器 ECS
裸金属服务器 BMS
云手机 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器 HECS
VR云渲游平台 CVR
特惠算力专区
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属企业存储服务
云存储网关 CSG
专属分布式存储服务 DSS
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘小站 IES
智能边缘平台 IEF
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
园区智能体 CampusGo
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
视频分析服务 VAS
语音交互服务 SIS
知识图谱 KG
人证核身服务 IVS
IoT物联网
设备接入 IoTDA
设备管理 IoTDM(联通用户专用)
全球SIM联接 GSL
IoT数据分析
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
开发与运维
软件开发平台 DevCloud
项目管理 ProjectMan
代码托管 CodeHub
流水线 CloudPipeline
代码检查 CodeCheck
编译构建 CloudBuild
部署 CloudDeploy
云测 CloudTest
发布 CloudRelease
移动应用测试 MobileAPPTest
CloudIDE
Classroom
开源镜像站 Mirrors
应用魔方 AppCube
云性能测试服务 CPTS
应用管理与运维平台 ServiceStage
云应用引擎 CAE
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
资源管理服务 RMS
应用身份管理服务 OneAccess
区块链
区块链服务 BCS
可信跨链服务 TCS
可信分布式身份服务
智能协作
IdeaHub
开发者工具
SDK开发指南
API签名指南
DevStar
HCloud CLI
Terraform
Ansible
云生态
云市场
合作伙伴中心
华为云培训中心
其他
管理控制台
消息中心
产品价格详情
系统权限
我的凭证
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
应用编排服务 AOS
多云容器平台 MCP
基因容器 GCS
容器洞察引擎 CIE
云原生服务中心 OSC
容器批量计算 BCE
容器交付流水线 ContainerOps
应用服务网格 ASM
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB (for openGauss)
云数据库 GaussDB(for MySQL)
云数据库 GaussDB NoSQL
数据管理服务 DAS
数据库和应用迁移 UGO
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据湖治理中心 DGC
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
API网关 APIG
分布式缓存服务 DCS
分布式消息服务RocketMQ版
企业应用
域名注册服务 Domains
云解析服务 DNS
云速建站 CloudSite
网站备案
商标注册
华为云WeLink
会议
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMAExchange
API全生命周期管理 ROMA API
安全与合规
安全技术与应用
DDoS防护 ADS
Web应用防火墙 WAF
云防火墙 CFW
应用信任中心 ATC
企业主机安全 HSS
容器安全服务 CGS
云堡垒机 CBH
数据库安全服务 DBSS
数据加密服务 DEW
数据安全中心 DSC
云证书管理服务 CCM
SSL证书管理 SCM
漏洞扫描服务 VSS
态势感知 SA
威胁检测服务 MTD
管理检测与响应 MDR
安全治理云图 Compass
认证测试中心 CTC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
专属云
专属计算集群 DCC
解决方案
高性能计算 HPC
SAP
混合云灾备
华为工业云平台 IMC
价格
成本优化最佳实践
专属云商业逻辑
用户服务
帐号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
文档首页> AI开发平台ModelArts> 最佳实践> 旧版训练(即将下线)> 使用MoXing(即将下线)> 使用MoXing框架实现冰山识别图像分类(即将下线)
更新时间:2021-12-27 GMT+08:00
分享

使用MoXing框架实现冰山识别图像分类(即将下线)

本教程适用于旧版训练。旧版训练即将下线,请使用新版训练教程,具体请参见使用自定义算法在ModelArts上构建模型

本文介绍如何在ModelArts上使用MoXing实现Kaggle竞赛中的冰山图像分类任务。实验所使用的图像为雷达图像,需要参赛者利用算法识别出图像中是冰山(iceberg)还是船(ship)。

开始使用如下样例前,请务必按准备工作指导完成必要操作。冰山识别样例的操作流程如下所示。

  1. 准备数据:获取本示例使用的数据集并上传至OBS,编写代码将数据集格式转换成TFRecord。
  2. 训练模型:使用MoXing API编写实现冰山图像分类的网络模型,新建训练作业进行模型训练。
  3. 预测结果:再次新建训练作业,对示例数据集进行预测,并将结果保存到“csv”文件。
  4. 查看结果:查看“csv”文件中的预测结果。

准备工作

在使用 ModelArts进行开发前,需先完成如下准备工作。如果已完成,跳过此步骤。

  1. 注册华为云帐号
  2. 完成实名认证
  3. 登录ModelArts管理控制台,左上角选择使用区域(例如,华北-北京四),使用委托完成访问授权
  4. 在左上角服务列表中,选择对象存储服务,进入OBS管理控制台。创建1个OBS桶用于存储数据。

    创建桶时,“区域”选择需与上一步骤相同,“数据冗余存储策略”选择“单AZ存储”,其他参数使用默认值。

准备数据

ModelArts在公共OBS桶中提供了Iceberg数据集,命名为“Iceberg-Data-Set”,因此,本文的操作示例使用此数据集进行模型构建。您需要执行如下操作,将数据集上传至您的OBS目录下,即准备工作中您创建的OBS目录“test-modelarts/iceberg/iceberg-data”。然后通过Notebook将数据集格式转换成TFRecord格式。

  1. 单击数据集下载链接,将“Iceberg-Data-Set”数据集下载至本地。
  2. 在本地,将“Iceberg-Data-Set.zip”压缩包解压。例如,解压至本地“Iceberg-Data-Set”文件夹下。
  3. 参考上传文件,使用批量上传方式将“Iceberg-Data-Set”文件夹下的所有文件上传至“test-modelarts/iceberg/iceberg-data”OBS路径下。

    其中,训练集“train.json”包含4类数据:“band_1”“band_2”“inc_angle”“is_iceberg”

    • “band_1”“band_2”:雷达图像的2个通道,分别是75x75的矩阵。
    • “inc_angle”:雷达图拍摄角度,单位是角度。
    • “is_iceberg”: 标注。冰山为1,船为0。
  4. 进入“开发环境>Notebook”页面,单击“进入旧版”,在旧版Notebook页面,单击“创建”,在弹出框中填写Notebook名称。单击“下一步”,进入规格确认页面,单击“提交”完成创建操作。

    针对当前样例,“工作环境”选择“Multi-Engine 1.0 (python2)”,推荐使用“公共资源池”“GPU”。如果选择使用“CPU”,Notebook的运行时间可能较长,且运行过程中容易出现故障。

  5. Notebook创建完成后,在操作列,单击“打开”,进入“Jupyter Notebook”文件目录界面。
  6. 单击右上角的“New>TensorFlow-1.8”,进入代码开发界面。
    图1 创建Notebook开发页面
  7. 在Cell中填写数据转换代码。完整代码请参见data_format_conversion.py

    脚本代码中的“BASE_PATH”参数,请根据数据集实际存储位置修改。本示例中使用的OBS路径为“test-modelarts/iceberg/iceberg-data/”, 即“train.json”“test.json”的OBS父目录。

  8. 单击Cell上方的“Run”运行代码。运行代码过程可能需要较长时间,如果长时间没有执行结果,请尝试分段执行代码。将脚本示例代码分成多段放在不同的cell中执行。
    代码运行成功后,将在“test-modelarts/iceberg/iceberg-data/”目录下生成如下3个文件:
    • “iceberg-train-1176.tfrecord”:训练数据集。
    • “iceberg-eval-295.tfrecord”:验证数据集。
    • “iceberg-test-8424.tfrecord”:预测数据集。
  9. 完成数据准备后,为避免产生不必要的费用,建议进入Notebook管理页面,在操作列中单击“停止”“删除”,停止或删除此Notebook。

训练模型

数据准备完成后,您需要使用MoXing接口编写训练脚本代码,ModelArts提供了一个编写好的代码示例“train_iceberg.py”,您也可以在ModelArts的“开发环境>Notebook”中编写模型训练脚本,并转成“py”文件。

如下操作使用“train_iceberg.py”示例训练模型。

  1. 从gitee下载ModelArts-Lab工程,并在“ModelArts-Lab”工程的“\ModelArts-Lab-master\official_examples\Using_MoXing_to_Create_a_Iceberg_Images_Classification_Application\codes”目录下获取模型训练脚本文件“train_iceberg.py”
  2. “train_iceberg.py”文件上传至OBS,假设上传至“test-modelarts/iceberg/iceberg-code/”文件夹下。
  3. 在ModelArts管理控制台,进入“训练管理 > 训练作业”页面,单击左上角的“创建”
  4. 填写训练作业相关参数。
    • “名称”“描述”:请按照界面提示规则填写。
    • “算法来源”:选择“常用框架”页签,“AI引擎”选择“TensorFlow”“TF-1.8.0-python2.7”“代码目录”选择模型训练脚本文件“train_iceberg.py”所在的OBS父目录(“test-modelarts/iceberg/iceberg-code/”),“启动文件”请选择“train_iceberg.py”
    • “数据来源”:选择“数据存储位置”,然后选择数据集存储的OBS路径。
    • “训练输出位置”:选择一个OBS路径用于存放生成模型及预测文件。
    • “资源池”:选择一个可用的资源池用于训练。GPU资源池性能优于CPU资源池,但是相应的费用也更高。
    • “计算节点个数”:此示例建议使用1个节点即可。
    图2 创建训练作业
  5. 参数确认无误后,单击“提交”,完成训练作业创建。
  6. 在训练作业管理页面,当训练作业变为“运行成功”时,即完成了模型训练过程。如有问题,可单击作业名称,进入作业详情界面查看训练作业日志信息。

    训练作业需要花费一些时间,预计几十分钟。当训练时间超过一定时间(如1个小时),请及时手动停止,释放资源。否则会导致欠费,尤其对于使用GPU训练的模型项目。

  7. (可选)在模型训练的过程中或者完成后,可以通过创建可视化作业查看一些参数的统计信息,如“loss”“accuracy”等。您也可以选择不创建可视化作业,直接进入下一步:预测结果

    进入“训练管理 > 训练作业 > 可视化作业界面,单击“创建”,填写可视化作业名称,训练输出位置请选择步骤4“训练输出位置”参数中的路径。根据界面提示完成可视化作业创建。当状态变为“运行中”时,表示创建完成。您可以单击可视化作业的名称跳转到其可视化界面,查看此训练作业的相关信息。

预测结果

待训练作业运行完成后,在“训练输出位置”目录下生成模型文件。由于我们只需要进行一次预测,因此不需要部署在线服务。相关的预测操作已经在“train_iceberg.py”文件写好,预测结果将输出到“submission.csv”文件。

使用训练作业进行预测的操作步骤如下:

  1. 进入ModelArts“训练管理 > 训练作业”页面,单击左上角的“创建”
  2. 填写相关参数,然后根据界面提示完成训练作业创建。

    “名称”:请根据界面提示要求填写。

    “算法来源”“数据来源”:填写信息与训练模型时相同。详情请参见步骤4

    “运行参数”:预测时,务必添加参数“is_training=False”,表示不进行重新训练。

    “训练输出位置”:与训练模型的步骤4保持一致。

    “计算节点个数”:预测时“计算节点个数”只能选择1个节点。
    图3 创建一次预测
  3. 进入“训练作业”管理页面,当训练作业状态变为“运行成功”时,表示预测完成。单击训练作业的名称,进入作业详情页面。

    “日志”页签中,可以查看到在eval数据集上的loss值。

    训练作业需要花费一些时间,预计十几分钟。当训练时间超过一定时间(如1个小时),请及时手动停止,释放资源。否则会导致欠费,尤其对于使用GPU训练的模型项目。

查看结果

“训练输出位置”目录下,可通过“submission.csv”文件查看预测结果。

图4 冰山识别预测结果
分享:

    相关文档

    相关产品

关闭导读