盘古大模型服务使用流程

盘古大模型服务简介

盘古大模型服务包含盘古基础大模型、盘古行业大模型与ModelArts Studio大模型开发平台。凭借“模型+开发平台”的产品组合，助力各行业客户实现一站式的大模型开发与应用能力。

ModelArts Studio大模型开发平台是盘古大模型服务推出的包括数据管理、模型训练、模型部署于一体的综合平台，专为开发和应用大模型而设计，旨在为开发者提供简单、高效的大模型开发和部署方式。平台配备数据工程、模型开发、应用开发三大工具链，帮助开发者充分利用盘古大模型的功能。通过该平台，企业可根据需求选择合适的盘古NLP大模型、CV大模型、预测大模型、科学计算大模型等服务，便捷地构建自己的模型和应用。

数据工程使用流程

ModelArts Studio大模型开发平台提供了数据工程能力，帮助用户构造高质量的数据集，助力模型进行更好地预测和决策。

数据工程使用流程见图1、表1。

图1 数据工程使用流程图

表1 数据工程使用流程表
流程	子流程	说明	操作指导
准备工作	申请试用盘古大模型服务	盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。	申请试用ModelArts Studio大模型开发平台
	订购盘古大模型服务	正式使用盘古大模型服务前，需要完成服务的订购操作。	订购盘古大模型服务
	配置服务访问授权	为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。	配置服务访问授权
	创建并管理盘古工作空间	平台支持用户自定义创建工作空间，并进行空间的统一管理。	创建并管理工作空间
导入数据至盘古平台	创建导入任务	将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。	导入数据至盘古平台
加工数据集	加工数据集	通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提高数据质量。	加工数据集
	合成数据集	利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。
	标注数据集	为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。
	配比数据集	数据配比是将多个数据集按特定比例组合并生成为“加工数据集”的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。
发布数据集	评估数据集	平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。	发布数据集
发布数据集	发布数据集	数据发布是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。平台支持发布的数据集格式为标准格式、盘古格式。标准格式：平台默认的格式。该格式的数据集不可应用于盘古大模型的模型开发中，但可以发布为资产。盘古格式：训练盘古大模型时，需要发布为该格式，可用于盘古大模型的模型开发。当前仅文本类、图片类数据集支持发布为盘古格式。	发布数据集

NLP大模型开发流程

ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持，涵盖了从数据处理到模型训练、压缩、部署、评测、调用的各个环节。

NLP大模型开发流程见图2、表2。

图2 NLP大模型开发流程图

表2 NLP大模型开发流程表
流程	子流程	说明	操作指导
准备工作	申请试用盘古大模型服务	盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。	申请试用ModelArts Studio大模型开发平台
	订购盘古大模型服务	正式使用盘古大模型服务前，需要完成服务的订购操作。	订购盘古大模型服务
	配置服务访问授权	为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。	配置服务访问授权
	创建并管理盘古工作空间	平台支持用户自定义创建工作空间，并进行空间的统一管理。	创建并管理工作空间
使用数据工程构建NLP大模型数据集	导入数据至盘古平台	将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。	导入数据至盘古平台
	加工文本类数据集	对文本类数据集进行加工，包括加工、合成、标注、配比操作。	加工文本类数据集
	发布文本类数据集	对文本类数据集进行发布，包括评估、发布操作。	发布文本类数据集
开发盘古NLP大模型	训练NLP大模型	进行模型的训练，如预训练、微调等训练方式。	训练NLP大模型
	压缩NLP大模型	通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。	压缩NLP大模型
	部署NLP大模型	将模型部署用于后续模型的调用操作。	部署NLP大模型
	评测NLP大模型	评测NLP大模型的效果。	评测NLP大模型
	调用NLP大模型	支持“体验中心”功能与API两种方式调用大模型。	调用NLP大模型
盘古NLP大模型应用开发	开发盘古大模型提示词工程	辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。	开发提示词工程
盘古NLP大模型应用开发	开发盘古大模型Agent应用	基于NLP大模型，致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验，都可以通过Agent平台快速创建各种类型的智能体。	开发Agent应用
管理盘古大模型空间资产	管理盘古数据资产	管理从AI Gallery订阅或已发布的数据集。	管理盘古数据资产
	管理盘古模型资产	管理预置或训练后发布的模型。	管理盘古模型资产
	管理盘古组件资产	管理预置或创建的组件。	管理盘古组件资产

CV大模型开发流程

ModelArts Studio大模型开发平台提供了CV大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署环节。

CV大模型开发流程见图3、表3。

图3 CV大模型开发流程图

表3 CV大模型开发流程表
流程	子流程	说明	操作指导
准备工作	申请试用盘古大模型服务	盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。	申请试用ModelArts Studio大模型开发平台
	订购盘古大模型服务	正式使用盘古大模型服务前，需要完成服务的订购操作。	订购盘古大模型服务
	配置服务访问授权	为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。	配置服务访问授权
	创建并管理盘古工作空间	平台支持用户自定义创建工作空间，并进行空间的统一管理。	创建并管理工作空间
使用数据工程构建CV大模型数据集	导入数据至盘古平台	将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。	导入数据至盘古平台
	加工图片、视频类数据集	对图片、视频类数据集进行加工，包括加工、标注、配比操作。	加工图片类数据集、加工视频类数据集
	发布图片、视频类数据集	对图片、视频类数据集进行发布，包括评估、发布操作。	发布图片类数据集、发布视频类数据集
开发盘古CV大模型	训练CV大模型	进行模型的训练，如微调等训练方式。	训练CV大模型
	部署CV大模型	模型训练完成后，执行模型的部署操作。	部署CV大模型
	评测CV大模型	评测CV大模型的效果。	评测CV大模型
	调用CV大模型	支持API方式调用大模型。	调用CV大模型
管理盘古大模型空间资产	管理盘古数据资产	管理从AI Gallery订阅或已发布的数据集。	管理盘古数据资产
	管理盘古模型资产	管理预置或训练后发布的模型。	管理盘古模型资产
	管理盘古组件资产	管理预置或创建的组件。	管理盘古组件资产

预测大模型开发流程

ModelArts Studio大模型开发平台提供了预测大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署环节。

预测大模型开发流程见图4、表4。

图4 预测大模型开发流程图

表4 预测大模型开发流程表
流程	子流程	说明	操作指导
准备工作	申请试用盘古大模型服务	盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。	申请试用ModelArts Studio大模型开发平台
	订购盘古大模型服务	正式使用盘古大模型服务前，需要完成服务的订购操作。	订购盘古大模型服务
	配置服务访问授权	为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。	配置服务访问授权
	创建并管理盘古工作空间	平台支持用户自定义创建工作空间，并进行空间的统一管理。	创建并管理工作空间
使用数据工程构建预测大模型数据集	导入数据至盘古平台	将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。	导入数据至盘古平台
	加工预测类数据集（可选）	对预测类数据集进行加工，包括算子加工、配比操作。	加工预测类数据集
	发布预测类数据集	对预测类数据集进行发布操作。	发布预测类数据集
开发盘古预测大模型	训练预测大模型	进行模型的训练，如微调训练方式。	训练预测大模型
	部署预测大模型	模型训练完成后，执行模型的部署操作。	部署预测大模型
	评测预测大模型	评测预测大模型的效果。	评测预测大模型
	调用预测大模型	支持API方式调用大模型。	调用预测大模型
管理盘古大模型空间资产	管理盘古数据资产	管理从AI Gallery订阅或已发布的数据集。	管理盘古数据资产
	管理盘古模型资产	管理预置或训练后发布的模型。	管理盘古模型资产
	管理盘古组件资产	管理预置或创建的组件。	管理盘古组件资产

科学计算大模型开发流程

ModelArts Studio大模型开发平台提供了科学计算大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署、调用的各个环节。

科学计算大模型开发流程见图5、表5。

图5 科学计算大模型开发流程图

表5 科学计算大模型开发流程表
流程	子流程	说明	操作指导
准备工作	申请试用盘古大模型服务	盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。	申请试用ModelArts Studio大模型开发平台
	订购盘古大模型服务	正式使用盘古大模型服务前，需要完成服务的订购操作。	订购盘古大模型服务
	配置服务访问授权	为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。	配置服务访问授权
	创建并管理盘古工作空间	平台支持用户自定义创建工作空间，并进行空间的统一管理。	创建并管理工作空间
使用数据工程构建科学计算大模型数据集	导入数据至盘古平台	将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。	导入数据至盘古平台
	加工气象类数据集	对气象类数据集进行加工操作。	加工气象类数据集
	发布气象类数据集	对气象类数据集进行发布操作。	发布气象类数据集
开发盘古科学计算大模型	训练科学计算大模型	进行模型的训练，如预训练、微调等训练方式。	训练科学计算大模型
	部署科学计算大模型	将模型部署用于后续模型的调用操作。	部署科学计算大模型
	调用科学计算大模型	支持“体验中心”功能与API两种方式调用大模型。	调用科学计算大模型
管理盘古大模型空间资产	管理盘古数据资产	管理从AI Gallery订阅或已发布的数据集。	管理盘古数据资产
	管理盘古模型资产	管理预置或训练后发布的模型。	管理盘古模型资产
	管理盘古组件资产	管理预置或创建的组件。	管理盘古组件资产