文档首页/ AI开发平台ModelArts/ 功能总览
功能总览

功能总览

  • 自动学习

    • 自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。
      当前自动学习支持快速创建图像分类、物体检测、预测分析、声音分类和文本分类模型的定制化开发。可广泛应用在工业、零售安防等领域。

      • 图像分类：识别图片中物体的类别。
      • 物体检测：识别出图片中每个物体的位置和类别。
      • 预测分析：对结构化数据做出分类或数值预测。
      • 声音分类：对环境中不同声音进行分类识别。
      • 文本分类：识别一段文本的类别。

      发布区域：华北-北京一、华北-北京四、华东-上海一、华南-广州、中国-香港、亚太-曼谷、亚太-新加坡、拉美-圣地亚哥

      自动学习介绍

      自动学习案例教程

  • Workflow

    • Workflow（也称工作流，下文中均可使用工作流进行描述）本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中，流水线可能会覆盖数据标注、数据处理、模型开发/训练、模型评估、应用开发、应用评估等步骤。

      发布区域：华北-北京一、华北-北京四、华东-上海一、华南-广州、中国-香港

      什么是Workflow

      运行第一条Workflow

      开发一条Workflow

  • 开发工具

    • 在 AI 开发过程中搭建开发环境、选择AI框架、选择算法、调试代码、安装相应软件或者硬件加速驱动库都不是容易的事情，使得学习 AI 开发上手慢门槛高。为了解决这些问题，ModelArts开发工具Notebook简化了整个开发过程，以降低开发门槛。

      发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地亚哥

    • CodeLab

      • ModelArts提供了CodeLab功能，其中预置了免费的算力规格，开发者可以一键进入开发环境，直接免费体验Notebook功能。另外，针对AI Gallery社区发布的Notebook样例（.ipynb格式文件），可直接在CodeLab中打开，查看他人分享的样例代码。

        CodeLab简介

        AI Gallery上的Notebook样例

    • JupyterLab

    • 本地IDE（PyCharm）

      • ModelArts提供了一个PyCharm插件工具PyCharm ToolKit，协助用户完成代码上传、提交训练作业、将训练日志获取到本地展示等，用户只需要专注于本地的代码开发即可。

        使用PyCharm ToolKit连接Notebook

    • 本地IDE（VS Code）

      • 当用户创建完成支持SSH的Notebook实例后，使用VS Code的开发者可以通过以下三种方式连接到开发环境中：VS Code一键连接Notebook、VS Code ToolKit连接Notebook、VS Code手动连接Notebook。

        使用VS Code一键连接Notebook

  • 算法管理

    • 针对您自己在本地或使用其他工具开发的算法，支持上传至ModelArts中统一管理。同时，您可以订阅AI Gallery中的算法构建模型。
      不管是您创建的算法，还是您订阅的算法，支持在ModelArts中快速创建训练作业，获得您想要的模型。

      发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地亚哥

      创建算法

  • 训练管理

    • ModelArts提供了模型训练的功能，方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据，选择不同规格的资源池用于模型训练。除支持用户自己开发的模型外，ModelArts还提供了从AI Gallery订阅算法，您可以不关注模型开发，直接使用AI Gallery的算法，通过算法参数的调整，得到一个满意的模型。

      发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地亚哥

    • 使用订阅算法开发模型

    • 使用自定义算法开发模型

      • 如果订阅算法不能满足需求或者用户希望迁移本地算法至云上训练，可以考虑使用ModelArts支持的预置训练引擎实现算法构建。这种方式在创建算法时被称为“使用自定义脚本”模式。

        ModelArts支持了大多数主流的AI引擎，这些预置引擎预加载了一些额外的python包，例如numpy等；也支持您通过在代码目录中使用“requirements.txt”文件安装依赖包。

        预置训练引擎

        开发自定义脚本

        使用自定义算法开发模型教程

    • 使用自定义镜像开发模型

      • 订阅算法和预置训练引擎涵盖了大部分的训练场景。针对特殊场景，ModelArts支持用户构建自定义镜像用于模型训练。自定义镜像需上传至容器镜像服务（SWR），才能用于云上训练。

        由于自定义镜像的制作要求用户对容器相关知识有比较深刻的了解，除非订阅算法和预置引擎无法满足需求，否则不推荐使用。

        使用自定义镜像创建训练作业

  • AI应用管理

    • ModelArts提供了统一的AI应用管理能力，将训练作业中得到的模型、本地开发的模型部署为AI应用，并进行统一管理。
      同时，为方便能够将模型部署在不同的设备上，ModelArts还提供了模型转换能力，转换后的模型可应用于Ascend类型。

      发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地亚哥

    • 使用常用框架的元模型创建AI应用

      • 针对使用常用框架完成模型开发和训练的场景，可以将您的模型导入至ModelArts中，创建为AI应用，进行统一管理。
        1、如果您是在ModelArts中训练得到的模型，可直接从训练中导入模型。
        2、如果您在本地或其他平台训练得到模型，可先将模型上传至OBS，再从OBS中导入模型。

        从OBS导入元模型（手动配置）

        从训练中选择元模型

    • 使用自定义镜像创建AI应用

    • 模型包规范

      • 在AI应用管理创建AI应用时，如果是从OBS或容器镜像中导入元模型，则需要符合一定的模型包规范。
        您需要编写对应的推理代码和配置文件，方便后续进行推理部署。
        说明：由于使用预置算法训练得到的模型，已包含了推理代码和配置文件，所以无需另外编写提供。

        模型包规范介绍

    • 订阅模型

      • ModelArts支持统一管理从AI Gallery订阅模型，订阅的模型可以直接用于服务部署。
        在AI应用“我的订阅”列表中，罗列当前帐号订阅的所有模型及其版本。同时支持将模型快捷部署为服务。

        从AI Gallery订阅模型

  • 部署上线

    • 通常AI模型部署和规模化落地非常复杂。ModelArts支持将训练好的模型一键部署到端、边、云的各种设备上和各种场景上，并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。


    • 在线服务

      • 在线推理服务，可以实现高并发，低延时，弹性伸缩，并且支持多模型灰度发布、A/B测试。将模型部署为一个Web Service，并且提供在线的测试UI与监控能力。

        发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地亚哥

        部署为在线服务

    • 批量服务

      • 批量服务适用于处理大量数据推理、高效分布式计算场景。批量服务可对批量数据进行推理，完成数据处理后自动停止。

        发布区域：华北-北京一、华北-北京四、华东-上海一、华南-广州、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、拉美-墨西哥城二、拉美-圣保罗一

        部署为批量服务

  • 镜像管理

    • ModelArts为用户提供了多种常见的预置镜像，但是当用户对深度学习引擎、开发库有特殊需求场景的时候，预置镜像已经不能满足用户需求。ModelArts提供自定义镜像功能支持用户自定义运行引擎。

      ModelArts底层采用容器技术，自定义镜像指的是用户自行制作容器镜像并在ModelArts上运行。自定义镜像功能支持自由文本形式的命令行参数和环境变量，灵活性比较高，便于支持任意计算引擎的作业启动需求。

      发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地利亚

  • 资源池

    • 使用ModelArts进行AI开发时，需要使用一些计算资源进行训练或推理。为满足不同开发业务，ModelArts提供了按需付费的公共资源池和无需排队的专属资源池。

       

    • OBS 2.0支持

      公共资源池

      • 公共资源池提供公共的大规模计算集群，根据用户作业参数分配使用，资源按作业隔离。按资源规格、使用时长及实例数计费，不区分任务（训练作业、部署、开发）。公共资源池是ModelArts默认提供，不需另行创建或配置，您可以直接在AI开发过程中，直接选择公共资源池进行使用。

    • 专属资源池

      • 专属资源池提供独享的计算资源，可用于Notebook、训练作业、部署模型。无需排队等待，更加高效。在使用专属资源池之前，您需要先购买一个专属资源池，然后在AI开发过程中选择此专属资源池。

        发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地利亚

        资源池

  • AI Gallery

    • AI Gallery是在ModelArts的基础上构建的开发者生态社区，提供模型、算法、HiLens技能、数据等内容的共享，为高校科研机构、AI应用开发商、解决方案集成商、企业级个人开发者等群体，提供安全、开放的共享及交易环节，加速AI产品的开发与落地，保障AI开发生态链上各参与方高效地实现各自的商业价值。
      如果您是订阅者，可以在AI Gallery中，查找您想要的AI资产，并查看资产详情，对于满足业务需要的资产，您可以直接订阅并推送至ModelArts使用。

      如果您是发布者，可以将自己开发的AI资产，发布至AI Gallery中，共享给其他用户使用。

      发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港

      AI Gallery简介

      注册AI Gallery

    • OBS 2.0支持

      算法的分享和订阅

      • AI Gallery的资产集市提供了AI算法的分享和订阅。订阅者可在AI Gallery搜索订阅业务需要的算法，并推送至ModelArts进行模型构建；分享者可创建AI算法，将本地开发或在ModelArts开发的算法分享发布至AI Gallery。

        订阅免费算法

        发布免费算法

    • 模型的分享和订阅

      • AI Gallery的资产集市提供了AI模型的分享和订阅。订阅者可在AI Gallery搜索订阅业务需要的ModelArts模型或HiLens技能，并推送至ModelArts或HiLens等管理控制台中使用；分享者可将个人开发的ModelArts模型或HiLens技能分享发布至AI Gallery。

        订阅免费模型

        发布免费模型

    • 数据集的分享和下载

      • AI Gallery的资产集市提供了数据集的分享和下载。订阅者可在AI Gallery搜索并下载满足业务需要的数据集，存储至当前帐号的OBS桶或ModelArts的数据集列表。分享者可将已处理过的数据集发布至AI Gallery。

        下载数据集

        AI Gallery发布数据集

    • Notebook案例的分享和使用

      • AI Gallery的资产集市提供了Notebook代码案例的分享和使用。订阅者可在AI Gallery搜索查看他人共享的Notebook案例，通过“Run in ModelArts”将Notebook案例在ModelArts控制台快速打开、运行以及进行二次开发等操作。分享者可将个人Notebook代码案例分享发布在AI Gallery。

        使用Notebook代码案例

        发布免费模型

  • ModelArts SDK

    • ModelArts服务软件开发工具包（ModelArts SDK）是对ModelArts服务提供的REST API进行的Python封装，以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松启动AI训练以及生成模型并将其部署为在线服务。
      在Notebook中，无需鉴权配置，可直接使用ModelArts SDK，可以完成OBS管理、训练作业管理、模型管理以及在线服务管理。

      发布区域：发布区域：华北-北京一、华北-北京四、华北-乌兰察布一、华东-上海一、华南-广州、西南-贵阳一、中国-香港、亚太-曼谷、亚太-新加坡、亚太-雅加达、非洲-约翰内斯堡、拉美-墨西哥城二、拉美-圣保罗一、拉美-圣地亚哥

      SDK参考

  • 昇腾生态

    • 随着华为自研AI框架MindSpore与昇腾全栈的联合发布，ModelArts平台对昇腾芯片及其开发生态的支持不断加强，提供了多款支持昇腾系列的神经网络算法。其中Ascend Snt9系列可为用户解决图像分类和物体检测两大类模型训练场景；Ascend Snt3系列可应用于图像分类、物体检测、图像分割、NLP等常用深度学习领域高性能推理场景。同时，使用MindSpore开发的模型可直接在ModelArts平台完成训练和推理。

      发布区域：华北-北京四、西南-贵阳一

    • 训练和推理同时使用昇腾芯片

      • Ascend Snt3和Snt9芯片是华为自研的AI芯片。基于Ascend Snt3的低功耗、高算力特性，ModelArts支持使用Ascend Snt3提供高性能推理能力。Ascend Snt9是一款性能更高的训练芯片，主打算力强、体积小等特性，ModelArts支持使用Snt9提供训练能力。
        针对Ascend系列芯片，支持使用Snt9训练模型，Snt3部署上线。

    • 支持MindSpore

      • MindSpore是一个全场景AI计算框架，它的特性是可以显著减少训练时间和成本（开发态）、以较少的资源和最高能效比运行（运行态），同时适应包括端、边缘与云的全场景（部署态）。
        在ModelArts的训练、开发环境功能中，支持选用MindSpore框架构建模型。

        ModelArts支持的AI框架

        本地开发的MindSpore模型迁移至云上训练

相关文档