ModelArts Studio大模型开发平台使用流程
盘古大模型服务简介
盘古大模型服务致力于深耕行业,打造多领域行业大模型和能力集。
- 数据工程工具链:数据是大模型训练的核心基础。数据工程工具链作为平台的重要组成部分,具备数据获取、数据加工和数据发布等功能,确保数据的高质量与一致性。工具链能够高效收集并处理各种格式的数据,满足不同训练任务的需求,并提供强大的数据存储和管理能力,为大模型训练提供坚实的数据支持。
- 模型开发工具链:模型开发工具链是盘古大模型服务的核心组件,提供从模型创建到部署的一站式解决方案,涵盖模型训练、压缩、部署、评测、调用等功能,保障模型的高效应用。
- 应用开发工具链:应用开发工具链是盘古大模型平台的重要模块,支持提示词工程、Agent开发,显著加速大模型应用的开发流程,帮助企业快速应对复杂业务需求。
预置模型使用流程
ModelArts Studio大模型开发平台提供了不同类型的预置模型,包括NLP大模型和科学计算大模型。用户可将预置模型部署为预置服务,用于后续的调用操作。
其中,NLP预置模型使用流程见图1、表1,科学计算预置模型使用流程见图2、表2。
流程 |
子流程 |
说明 |
操作指导 |
---|---|---|---|
准备工作 |
申请试用盘古大模型服务 |
盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。 |
|
订购盘古大模型服务 |
正式使用盘古大模型服务前,需要完成服务的订购操作。 |
||
配置服务访问授权 |
为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 |
||
创建并管理盘古工作空间 |
平台支持用户自定义创建工作空间,并进行空间的统一管理。 |
||
部署NLP大模型 |
创建NLP大模型部署任务 |
部署后的模型可用于后续调用操作。 |
|
查看NLP大模型部署任务详情 |
查看部署任务的详情,包括部署的模型基本信息、任务日志等。 |
||
管理NLP大模型部署任务 |
可对部署任务执行执行描述、删除等操作。 |
||
调用NLP大模型 |
使用“能力调测”调用NLP大模型 |
使用该功能调用部署后的预置服务进行文本对话,支持设置人设和参数等。 |
|
使用API调用NLP大模型 |
可调用API接口与NLP预置服务进行文本对话。 |
流程 |
子流程 |
说明 |
操作指导 |
---|---|---|---|
准备工作 |
申请试用盘古大模型服务 |
盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。 |
|
订购盘古大模型服务 |
正式使用盘古大模型服务前,需要完成服务的订购操作。 |
||
配置服务访问授权 |
为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 |
||
创建并管理盘古工作空间 |
平台支持用户自定义创建工作空间,并进行空间的统一管理。 |
||
部署科学计算大模型 |
创建科学计算大模型部署任务 |
部署后的模型可用于后续调用操作。 |
|
查看科学计算大模型部署任务详情 |
查看部署任务的详情,包括部署的模型基本信息、任务日志等。 |
||
管理科学计算大模型部署任务 |
可对部署任务执行执行描述、删除等操作。 |
||
调用科学计算大模型 |
使用“能力调测”调用科学计算大模型 |
使用该功能调用部署后的预置服务对区域海洋要素等场景进行预测。 |
|
使用API调用科学计算大模型 |
可调用科学计算API接口对区域海洋要素等场景进行预测。 |
数据工程使用流程
ModelArts Studio大模型开发平台提供了数据工程能力,帮助用户构造高质量的数据集,助力模型进行更好地预测和决策。
流程 |
子流程 |
说明 |
---|---|---|
准备工作 |
申请试用盘古大模型服务 |
盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。 |
订购盘古大模型服务 |
正式使用盘古大模型服务前,需要完成服务的订购操作。 |
|
配置服务访问授权 |
为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 |
|
创建并管理盘古工作空间 |
平台支持用户自定义创建工作空间,并进行空间的统一管理。 |
|
导入数据至盘古平台 |
创建导入任务 |
将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 |
加工数据集 |
清洗数据集 |
通过专用的清洗算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。 |
合成数据集 |
利用预置或自定义的数据指令对原始数据进行处理,并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集,增强训练模型的多样性和泛化能力。 |
|
标注数据集 |
为无标签数据集添加准确的标签,确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 |
|
发布数据集 |
评估数据集 |
平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。 |
配比数据集 |
数据配比是将多个数据集按特定比例组合并发布为“发布数据集”的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。 |
|
流通数据集 |
数据流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。 平台支持发布的数据集格式为默认格式、盘古格式。
|
NLP大模型开发流程
ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持,涵盖了从数据处理到模型训练、压缩、部署、评测、调用的各个环节。
流程 |
子流程 |
说明 |
操作指导 |
---|---|---|---|
准备工作 |
申请试用盘古大模型服务 |
盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。 |
|
订购盘古大模型服务 |
正式使用盘古大模型服务前,需要完成服务的订购操作。 |
||
配置服务访问授权 |
为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 |
||
创建并管理盘古工作空间 |
平台支持用户自定义创建工作空间,并进行空间的统一管理。 |
||
使用数据工程构建NLP大模型数据集 |
导入数据至盘古平台 |
将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 |
|
加工文本类数据集 |
对文本类数据集进行加工,包括清洗、合成、标注操作。 |
||
发布文本类数据集 |
对文本类数据集进行发布,包括评估、配比、流通操作。 |
||
开发盘古NLP大模型 |
训练NLP大模型 |
进行模型的训练,如预训练、微调训练方式。 |
|
压缩NLP大模型 |
通过模型压缩可以降低推理显存占用,节省推理资源提高推理性能。 |
||
部署NLP大模型 |
将模型部署用于后续模型的调用操作。 |
||
评测NLP大模型 |
评测NLP大模型的效果。 |
||
调用NLP大模型 |
支持“能力调测”功能与API两种方式调用大模型。 |
||
盘古NLP大模型应用开发 |
开发盘古大模型提示词工程 |
辅助用户进行提示词撰写、比较和评估等操作,并对提示词进行保存和管理。 |
|
开发盘古大模型Agent应用 |
基于NLP大模型,致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验,都可以通过Agent平台快速创建各种类型的智能体。 |
||
管理盘古大模型空间资产 |
管理盘古数据资产 |
管理从AI Gallery订阅或已发布的数据集。 |
|
管理盘古模型资产 |
管理预置或训练后发布的模型。 |
CV大模型开发流程
ModelArts Studio大模型开发平台提供了CV大模型的全流程开发支持,涵盖了从数据处理到模型训练、部署环节。
流程 |
子流程 |
说明 |
操作指导 |
---|---|---|---|
准备工作 |
申请试用盘古大模型服务 |
盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。 |
|
订购盘古大模型服务 |
正式使用盘古大模型服务前,需要完成服务的订购操作。 |
||
配置服务访问授权 |
为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 |
||
创建并管理盘古工作空间 |
平台支持用户自定义创建工作空间,并进行空间的统一管理。 |
||
使用数据工程构建CV大模型数据集 |
导入数据至盘古平台 |
将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 |
|
加工图片、视频类数据集 |
对图片、视频类数据集进行加工,包括清洗、标注操作。 |
||
发布图片、视频类数据集 |
对图片、视频类数据集进行发布,包括评估、配比、流通操作。 |
||
开发盘古CV大模型 |
训练CV大模型 |
进行模型的训练,如微调等训练方式。 |
|
部署CV大模型 |
模型训练完成后,执行模型的部署操作。 |
||
管理盘古大模型空间资产 |
管理盘古数据资产 |
管理从AI Gallery订阅或已发布的数据集。 |
|
管理盘古模型资产 |
管理预置或训练后发布的模型。 |
预测大模型开发流程
ModelArts Studio大模型开发平台提供了预测大模型的全流程开发支持,涵盖了从数据处理到模型训练、部署环节。
流程 |
子流程 |
说明 |
操作指导 |
---|---|---|---|
准备工作 |
申请试用盘古大模型服务 |
盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。 |
|
订购盘古大模型服务 |
正式使用盘古大模型服务前,需要完成服务的订购操作。 |
||
配置服务访问授权 |
为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 |
||
创建并管理盘古工作空间 |
平台支持用户自定义创建工作空间,并进行空间的统一管理。 |
||
使用数据工程构建预测大模型数据集 |
导入数据至盘古平台 |
将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 |
|
发布预测类数据集 |
对预测类数据集进行发布,包括流通操作。 |
||
开发盘古预测大模型 |
训练预测大模型 |
进行模型的训练,如微调训练方式。 |
|
部署预测大模型 |
模型训练完成后,执行模型的部署操作。 |
||
管理盘古大模型空间资产 |
管理盘古数据资产 |
管理从AI Gallery订阅或已发布的数据集。 |
|
管理盘古模型资产 |
管理预置或训练后发布的模型。 |
科学计算大模型开发流程
ModelArts Studio大模型开发平台提供了科学计算大模型的全流程开发支持,涵盖了从数据处理到模型训练、部署、调用的各个环节。
流程 |
子流程 |
说明 |
操作指导 |
---|---|---|---|
准备工作 |
申请试用盘古大模型服务 |
盘古大模型为用户提供了服务试用,用户可根据所需提交试用申请,申请通过后才可以试用盘古大模型功能。 |
|
订购盘古大模型服务 |
正式使用盘古大模型服务前,需要完成服务的订购操作。 |
||
配置服务访问授权 |
为了能够正常的存储数据、训练模型,需要用户配置盘古访问OBS的权限。 |
||
创建并管理盘古工作空间 |
平台支持用户自定义创建工作空间,并进行空间的统一管理。 |
||
使用数据工程构建科学计算大模型数据集 |
导入数据至盘古平台 |
将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 |
|
加工气象类数据集 |
对气象类数据集进行加工,包括清洗操作。 |
||
发布气象类数据集 |
对气象类数据集进行发布,包括流通操作。 |
||
开发盘古科学计算大模型 |
训练科学计算大模型 |
进行模型的训练,如预训练、微调等训练方式。 |
|
部署科学计算大模型 |
将模型部署用于后续模型的调用操作。 |
||
调用科学计算大模型 |
支持“能力调测”功能与API两种方式调用大模型。 |
||
管理盘古大模型空间资产 |
管理盘古数据资产 |
管理从AI Gallery订阅或已发布的数据集。 |
|
管理盘古模型资产 |
管理预置或训练后发布的模型。 |
专业大模型开发流程
ModelArts Studio大模型开发平台提供了专业大模型的部署功能。