文档首页/ 盘古大模型 PanguLargeModels/ 用户指南/ ModelArts Studio大模型开发平台使用流程
更新时间:2025-01-20 GMT+08:00
分享

ModelArts Studio大模型开发平台使用流程

盘古大模型服务简介

盘古大模型服务致力于深耕行业,打造多领域行业大模型和能力集。

ModelArts Studio大模型开发平台是盘古大模型服务推出的集数据管理、模型训练、模型部署于一体的综合平台,专为开发和应用大模型而设计,旨在为开发者提供简单、高效的大模型开发和部署方式。平台配备数据工程、模型开发、应用开发三大工具链,帮助开发者充分利用盘古大模型的功能。通过该平台,企业可根据需求选择合适的盘古NLP大模型、CV大模型、预测大模型、科学计算大模型、专业大模型等服务,便捷地构建自己的模型和应用。
  • 数据工程工具链:数据是大模型训练的核心基础。数据工程工具链作为平台的重要组成部分,具备数据获取、数据加工和数据发布等功能,确保数据的高质量与一致性。工具链能够高效收集并处理各种格式的数据,满足不同训练任务的需求,并提供强大的数据存储和管理能力,为大模型训练提供坚实的数据支持。
  • 模型开发工具链:模型开发工具链是盘古大模型服务的核心组件,提供从模型创建到部署的一站式解决方案,涵盖模型训练、压缩、部署、评测、调用等功能,保障模型的高效应用。
  • 应用开发工具链:应用开发工具链是盘古大模型平台的重要模块,支持提示词工程、Agent开发,显著加速大模型应用的开发流程,帮助企业快速应对复杂业务需求。

预置模型使用流程

ModelArts Studio大模型开发平台提供了不同类型的预置模型,包括NLP大模型和科学计算大模型。用户可将预置模型部署为预置服务,用于后续的调用操作。

其中,NLP预置模型使用流程见图1表1科学计算预置模型使用流程见图2表2

图1 NLP预置模型使用流程图
表1 NLP预置模型使用流程表

流程

子流程

说明

操作指导

准备工作

申请试用盘古大模型服务

盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。

申请试用盘古大模型服务

订购盘古大模型服务

正式使用盘古大模型服务前,需要完成服务的订购操作。

订购盘古大模型服务

配置服务访问授权

为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。

配置服务访问授权

创建并管理盘古工作空间

平台支持用户自定义创建工作空间,并进行空间的统一管理。

创建并管理盘古工作空间

部署NLP大模型

创建NLP大模型部署任务

部署后的模型可用于后续调用操作。

创建NLP大模型部署任务

查看NLP大模型部署任务详情

查看部署任务的详情,包括部署的模型基本信息、任务日志等。

查看NLP大模型部署任务详情

管理NLP大模型部署任务

可对部署任务执行执行描述、删除等操作。

管理NLP大模型部署任务

调用NLP大模型

使用“能力调测”调用NLP大模型

使用该功能调用部署后的预置服务进行文本对话,支持设置人设和参数等。

使用“能力调测”调用NLP大模型

使用API调用NLP大模型

可调用API接口与NLP预置服务进行文本对话。

使用API调用NLP大模型

图2 科学计算预置模型使用流程图
表2 科学计算预置模型使用流程表

流程

子流程

说明

操作指导

准备工作

申请试用盘古大模型服务

盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。

申请试用盘古大模型服务

订购盘古大模型服务

正式使用盘古大模型服务前,需要完成服务的订购操作。

订购盘古大模型服务

配置服务访问授权

为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。

配置服务访问授权

创建并管理盘古工作空间

平台支持用户自定义创建工作空间,并进行空间的统一管理。

创建并管理盘古工作空间

部署科学计算大模型

创建科学计算大模型部署任务

部署后的模型可用于后续调用操作。

创建科学计算大模型部署任务

查看科学计算大模型部署任务详情

查看部署任务的详情,包括部署的模型基本信息、任务日志等。

查看科学计算大模型部署任务详情

管理科学计算大模型部署任务

可对部署任务执行执行描述、删除等操作。

管理科学计算大模型部署任务

调用科学计算大模型

使用“能力调测”调用科学计算大模型

使用该功能调用部署后的预置服务对区域海洋要素等场景进行预测。

使用“能力调测”调用科学计算大模型

使用API调用科学计算大模型

可调用科学计算API接口对区域海洋要素等场景进行预测。

使用API调用科学计算大模型

数据工程使用流程

ModelArts Studio大模型开发平台提供了数据工程能力,帮助用户构造高质量的数据集,助力模型进行更好地预测和决策。

数据工程使用流程见图3表3

图3 数据工程使用流程图
表3 数据工程使用流程表

流程

子流程

说明

准备工作

申请试用盘古大模型服务

盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。

订购盘古大模型服务

正式使用盘古大模型服务前,需要完成服务的订购操作。

配置服务访问授权

为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。

创建并管理盘古工作空间

平台支持用户自定义创建工作空间,并进行空间的统一管理。

导入数据至盘古平台

创建导入任务

将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。

加工数据集

清洗数据集

通过专用的清洗算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。

合成数据集

利用预置或自定义的数据指令对原始数据进行处理,并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集,增强训练模型的多样性和泛化能力。

标注数据集

为无标签数据集添加准确的标签,确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。

发布数据集

评估数据集

平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。

配比数据集

数据配比是将多个数据集按特定比例组合并发布为“发布数据集”的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。

流通数据集

数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。

平台支持发布的数据集格式为默认格式、盘古格式

  • 默认格式:平台默认的格式。
  • 盘古格式:训练盘古大模型时,需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。

NLP大模型开发流程

ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持,涵盖了从数据处理到模型训练、压缩、部署、评测、调用的各个环节。

NLP大模型开发流程见图4表4

图4 NLP大模型开发流程图
表4 NLP大模型开发流程表

流程

子流程

说明

操作指导

准备工作

申请试用盘古大模型服务

盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。

申请试用盘古大模型服务

订购盘古大模型服务

正式使用盘古大模型服务前,需要完成服务的订购操作。

订购盘古大模型服务

配置服务访问授权

为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。

配置服务访问授权

创建并管理盘古工作空间

平台支持用户自定义创建工作空间,并进行空间的统一管理。

创建并管理盘古工作空间

使用数据工程构建NLP大模型数据集

导入数据至盘古平台

将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。

导入数据至盘古平台

加工文本类数据集

对文本类数据集进行加工,包括清洗、合成、标注操作。

加工文本类数据集

发布文本类数据集

对文本类数据集进行发布,包括评估、配比、流通操作。

发布文本类数据集

开发盘古NLP大模型

训练NLP大模型

进行模型的训练,如预训练、微调训练方式。

训练NLP大模型

压缩NLP大模型

通过模型压缩可以降低推理显存占用,节省推理资源提高推理性能。

压缩NLP大模型

部署NLP大模型

将模型部署用于后续模型的调用操作。

部署NLP大模型

评测NLP大模型

评测NLP大模型的效果。

评测NLP大模型

调用NLP大模型

支持“能力调测”功能与API两种方式调用大模型。

调用NLP大模型

盘古NLP大模型应用开发

开发盘古大模型提示词工程

辅助用户进行提示词撰写、比较和评估等操作,并对提示词进行保存和管理。

开发盘古大模型提示词工程

开发盘古大模型Agent应用

基于NLP大模型,致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验,都可以通过Agent平台快速创建各种类型的智能体。

开发盘古大模型Agent应用

管理盘古大模型空间资产

管理盘古数据资产

管理从AI Gallery订阅或已发布的数据集。

管理盘古数据资产

管理盘古模型资产

管理预置或训练后发布的模型。

管理盘古模型资产

CV大模型开发流程

ModelArts Studio大模型开发平台提供了CV大模型的全流程开发支持,涵盖了从数据处理到模型训练、部署环节。

CV大模型开发流程见图5表5

图5 CV大模型开发流程图
表5 CV大模型开发流程表

流程

子流程

说明

操作指导

准备工作

申请试用盘古大模型服务

盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。

申请试用盘古大模型服务

订购盘古大模型服务

正式使用盘古大模型服务前,需要完成服务的订购操作。

订购盘古大模型服务

配置服务访问授权

为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。

配置服务访问授权

创建并管理盘古工作空间

平台支持用户自定义创建工作空间,并进行空间的统一管理。

创建并管理盘古工作空间

使用数据工程构建CV大模型数据集

导入数据至盘古平台

将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。

导入数据至盘古平台

加工图片、视频类数据集

对图片、视频类数据集进行加工,包括清洗、标注操作。

加工图片类数据集加工视频类数据集

发布图片、视频类数据集

对图片、视频类数据集进行发布,包括评估、配比、流通操作。

发布图片类数据集发布视频类数据集

开发盘古CV大模型

训练CV大模型

进行模型的训练,如微调等训练方式。

训练CV大模型

部署CV大模型

模型训练完成后,执行模型的部署操作。

部署CV大模型

管理盘古大模型空间资产

管理盘古数据资产

管理从AI Gallery订阅或已发布的数据集。

管理盘古数据资产

管理盘古模型资产

管理预置或训练后发布的模型。

管理盘古模型资产

预测大模型开发流程

ModelArts Studio大模型开发平台提供了预测大模型的全流程开发支持,涵盖了从数据处理到模型训练、部署环节。

预测大模型开发流程见图6表6

图6 预测大模型开发流程图
表6 预测大模型开发流程表

流程

子流程

说明

操作指导

准备工作

申请试用盘古大模型服务

盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。

申请试用盘古大模型服务

订购盘古大模型服务

正式使用盘古大模型服务前,需要完成服务的订购操作。

订购盘古大模型服务

配置服务访问授权

为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。

配置服务访问授权

创建并管理盘古工作空间

平台支持用户自定义创建工作空间,并进行空间的统一管理。

创建并管理盘古工作空间

使用数据工程构建预测大模型数据集

导入数据至盘古平台

将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。

导入数据至盘古平台

发布预测类数据集

对预测类数据集进行发布,包括流通操作。

发布预测类数据集

开发盘古预测大模型

训练预测大模型

进行模型的训练,如微调训练方式。

训练预测大模型

部署预测大模型

模型训练完成后,执行模型的部署操作。

部署预测大模型

管理盘古大模型空间资产

管理盘古数据资产

管理从AI Gallery订阅或已发布的数据集。

管理盘古数据资产

管理盘古模型资产

管理预置或训练后发布的模型。

管理盘古模型资产

科学计算大模型开发流程

ModelArts Studio大模型开发平台提供了科学计算大模型的全流程开发支持,涵盖了从数据处理到模型训练、部署、调用的各个环节。

科学计算大模型开发流程见图7表7

图7 科学计算大模型开发流程图
表7 科学计算大模型开发流程表

流程

子流程

说明

操作指导

准备工作

申请试用盘古大模型服务

盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。

申请试用盘古大模型服务

订购盘古大模型服务

正式使用盘古大模型服务前,需要完成服务的订购操作。

订购盘古大模型服务

配置服务访问授权

为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。

配置服务访问授权

创建并管理盘古工作空间

平台支持用户自定义创建工作空间,并进行空间的统一管理。

创建并管理盘古工作空间

使用数据工程构建科学计算大模型数据集

导入数据至盘古平台

将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。

导入数据至盘古平台

加工气象类数据集

对气象类数据集进行加工,包括清洗操作。

加工气象类数据集

发布气象类数据集

对气象类数据集进行发布,包括流通操作。

发布气象类数据集

开发盘古科学计算大模型

训练科学计算大模型

进行模型的训练,如预训练、微调等训练方式。

训练科学计算大模型

部署科学计算大模型

将模型部署用于后续模型的调用操作。

部署科学计算大模型

调用科学计算大模型

支持“能力调测”功能与API两种方式调用大模型。

调用科学计算大模型

管理盘古大模型空间资产

管理盘古数据资产

管理从AI Gallery订阅或已发布的数据集。

管理盘古数据资产

管理盘古模型资产

管理预置或训练后发布的模型。

管理盘古模型资产

专业大模型开发流程

ModelArts Studio大模型开发平台提供了专业大模型的部署功能。

专业大模型开发流程见图8表8

图8 专业大模型开发流程图
表8 专业大模型开发流程表

流程

子流程

说明

操作指导

准备工作

申请试用盘古大模型服务

盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。

申请试用盘古大模型服务

订购盘古大模型服务

正式使用盘古大模型服务前,需要完成服务的订购操作。

订购盘古大模型服务

配置服务访问授权

为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。

配置服务访问授权

创建并管理盘古工作空间

平台支持用户自定义创建工作空间,并进行空间的统一管理。

创建并管理盘古工作空间

开发盘古专业大模型

部署专业大模型

支持专业大模型的部署操作。

部署专业大模型

管理盘古大模型空间资产

管理盘古模型资产

管理预置的专业大模型。

管理盘古模型资产

相关文档