# 盘古大模型服务使用流程 #### 盘古大模型服务简介 盘古大模型服务包含盘古基础大模型、盘古行业大模型与ModelArts Studio大模型开发平台。凭借"模型+开发平台"的产品组合，助力各行业客户实现一站式的大模型开发与应用能力。 [ModelArts Studio大模型开发平台](https://console.huaweicloud.com/modelartsstudio/)是盘古大模型服务推出的包括数据管理、模型训练、模型部署于一体的综合平台，专为开发和应用大模型而设计，旨在为开发者提供简单、高效的大模型开发和部署方式。平台配备数据工程、模型开发、应用开发三大工具链，帮助开发者充分利用盘古大模型的功能。通过该平台，企业可根据需求选择合适的盘古NLP大模型、CV大模型、预测大模型、科学计算大模型等服务，便捷地构建自己的模型和应用。 #### 数据工程使用流程 ModelArts Studio大模型开发平台提供了数据工程能力，帮助用户构造高质量的数据集，助力模型进行更好地预测和决策。 数据工程使用流程见[图1]、[表1]。 图1数据工程使用流程图 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726733.png) 表1数据工程使用流程表 | 流程 | 子流程 | 说明 | 操作指导 | |:---|:---|:---|:---| | 准备工作 | 申请试用盘古大模型服务 | 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 | [申请试用ModelArts Studio大模型开发平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0003.html) | | 准备工作 | 订购盘古大模型服务 | 正式使用盘古大模型服务前，需要完成服务的订购操作。 | [订购盘古大模型服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0004.html) | | 准备工作 | 配置服务访问授权 | 为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。 | [配置服务访问授权](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0009.html) | | 准备工作 | 创建并管理盘古工作空间 | 平台支持用户自定义创建工作空间，并进行空间的统一管理。 | [创建并管理工作空间](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0005.html) | | 导入数据至盘古平台 | 创建导入任务 | 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 | [导入数据至盘古平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0025.html) | | 加工数据集 | 加工数据集 | 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提高数据质量。 | [加工数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0026.html) | | 加工数据集 | 合成数据集 | 利用预置或自定义的数据指令对原始数据进行处理，并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集，增强训练模型的多样性和泛化能力。 | [加工数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0026.html) | | 加工数据集 | 标注数据集 | 为无标签数据集添加准确的标签，确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式，用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 | [加工数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0026.html) | | 加工数据集 | 配比数据集 | 数据配比是将多个数据集按特定比例组合并生成为"加工数据集"的过程。通过合理的配比，确保数据集的多样性、平衡性和代表性，避免因数据分布不均而引发的问题。 | [加工数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0026.html) | | 发布数据集 | 评估数据集 | 平台预置了多种数据类型的基础评估标准，包括NLP、视频和图片数据，用户可根据需求选择预置标准或自定义评估标准，从而精确优化数据质量，确保数据满足高标准，提升模型性能。 | [发布数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0059.html) | | 发布数据集 | 发布数据集 | 数据发布是将单个数据集发布为特定格式的"发布数据集"，用于后续模型训练等操作。 平台支持发布的数据集格式为**标准格式、盘古格式**。 - 标准格式：平台默认的格式。该格式的数据集不可应用于盘古大模型的模型开发中，但可以发布为资产。 - 盘古格式：训练盘古大模型时，需要发布为该格式，可用于盘古大模型的模型开发。当前仅文本类、图片类数据集支持发布为盘古格式。 | [发布数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0059.html) | #### NLP大模型开发流程 ModelArts Studio大模型开发平台提供了NLP大模型的全流程开发支持，涵盖了从数据处理到模型训练、压缩、部署、评测、调用的各个环节。 NLP大模型开发流程见[图2]、[表2]。 图2NLP大模型开发流程图 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726731.png) 表2NLP大模型开发流程表 | 流程 | 子流程 | 说明 | 操作指导 | |:---|:---|:---|:---| | 准备工作 | 申请试用盘古大模型服务 | 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 | [申请试用ModelArts Studio大模型开发平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0003.html) | | 准备工作 | 订购盘古大模型服务 | 正式使用盘古大模型服务前，需要完成服务的订购操作。 | [订购盘古大模型服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0004.html) | | 准备工作 | 配置服务访问授权 | 为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。 | [配置服务访问授权](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0009.html) | | 准备工作 | 创建并管理盘古工作空间 | 平台支持用户自定义创建工作空间，并进行空间的统一管理。 | [创建并管理工作空间](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0005.html) | | 使用数据工程构建NLP大模型数据集 | 导入数据至盘古平台 | 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 | [导入数据至盘古平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0025.html) | | 使用数据工程构建NLP大模型数据集 | 加工文本类数据集 | 对文本类数据集进行加工，包括加工、合成、标注、配比操作。 | [加工文本类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0201.html) | | 使用数据工程构建NLP大模型数据集 | 发布文本类数据集 | 对文本类数据集进行发布，包括评估、发布操作。 | [发布文本类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0062.html) | | 开发盘古NLP大模型 | 训练NLP大模型 | 进行模型的训练，如预训练、微调等训练方式。 | [训练NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0167.html) | | 开发盘古NLP大模型 | 压缩NLP大模型 | 通过模型压缩可以降低推理显存占用，节省推理资源提高推理性能。 | [压缩NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0174.html) | | 开发盘古NLP大模型 | 部署NLP大模型 | 将模型部署用于后续模型的调用操作。 | [部署NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0175.html) | | 开发盘古NLP大模型 | 评测NLP大模型 | 评测NLP大模型的效果。 | [评测NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0235.html) | | 开发盘古NLP大模型 | 调用NLP大模型 | 支持"体验中心"功能与API两种方式调用大模型。 | [调用NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0179.html) | | 盘古NLP大模型应用开发 | 开发盘古大模型提示词工程 | 辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 | [开发提示词工程](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0121.html) | | 盘古NLP大模型应用开发 | 开发盘古大模型Agent应用 | 基于NLP大模型，致力打造智能时代集开发、调测和运行为一体的AI应用平台。无论开发者是否拥有大模型应用的编程经验，都可以通过Agent平台快速创建各种类型的智能体。 | [开发Agent应用](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0148.html) | | 管理盘古大模型空间资产 | 管理盘古数据资产 | 管理从AI Gallery订阅或已发布的数据集。 | [管理盘古数据资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0117.html) | | 管理盘古大模型空间资产 | 管理盘古模型资产 | 管理预置或训练后发布的模型。 | [管理盘古模型资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0118.html) | | 管理盘古大模型空间资产 | 管理盘古组件资产 | 管理预置或创建的组件。 | [管理盘古组件资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0119.html) | #### CV大模型开发流程 ModelArts Studio大模型开发平台提供了CV大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署环节。 CV大模型开发流程见[图3]、[表3]。 图3CV大模型开发流程图 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726727.png) 表3CV大模型开发流程表 | 流程 | 子流程 | 说明 | 操作指导 | |:---|:---|:---|:---| | 准备工作 | 申请试用盘古大模型服务 | 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 | [申请试用ModelArts Studio大模型开发平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0003.html) | | 准备工作 | 订购盘古大模型服务 | 正式使用盘古大模型服务前，需要完成服务的订购操作。 | [订购盘古大模型服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0004.html) | | 准备工作 | 配置服务访问授权 | 为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。 | [配置服务访问授权](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0009.html) | | 准备工作 | 创建并管理盘古工作空间 | 平台支持用户自定义创建工作空间，并进行空间的统一管理。 | [创建并管理工作空间](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0005.html) | | 使用数据工程构建CV大模型数据集 | 导入数据至盘古平台 | 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 | [导入数据至盘古平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0025.html) | | 使用数据工程构建CV大模型数据集 | 加工图片、视频类数据集 | 对图片、视频类数据集进行加工，包括加工、标注、配比操作。 | [加工图片类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0204.html)、[加工视频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0202.html) | | 使用数据工程构建CV大模型数据集 | 发布图片、视频类数据集 | 对图片、视频类数据集进行发布，包括评估、发布操作。 | [发布图片类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0064.html)、[发布视频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0063.html) | | 开发盘古CV大模型 | 训练CV大模型 | 进行模型的训练，如微调等训练方式。 | [训练CV大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0242.html) | | 开发盘古CV大模型 | 部署CV大模型 | 模型训练完成后，执行模型的部署操作。 | [部署CV大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0249.html) | | 开发盘古CV大模型 | 评测CV大模型 | 评测CV大模型的效果。 | [评测CV大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0314.html) | | 开发盘古CV大模型 | 调用CV大模型 | 支持API方式调用大模型。 | [调用CV大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0354.html) | | 管理盘古大模型空间资产 | 管理盘古数据资产 | 管理从AI Gallery订阅或已发布的数据集。 | [管理盘古数据资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0117.html) | | 管理盘古大模型空间资产 | 管理盘古模型资产 | 管理预置或训练后发布的模型。 | [管理盘古模型资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0118.html) | | 管理盘古大模型空间资产 | 管理盘古组件资产 | 管理预置或创建的组件。 | [管理盘古组件资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0119.html) | #### 预测大模型开发流程 ModelArts Studio大模型开发平台提供了预测大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署环节。 预测大模型开发流程见[图4]、[表4]。 图4预测大模型开发流程图 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571047576.png) 表4预测大模型开发流程表 | 流程 | 子流程 | 说明 | 操作指导 | |:---|:---|:---|:---| | 准备工作 | 申请试用盘古大模型服务 | 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 | [申请试用ModelArts Studio大模型开发平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0003.html) | | 准备工作 | 订购盘古大模型服务 | 正式使用盘古大模型服务前，需要完成服务的订购操作。 | [订购盘古大模型服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0004.html) | | 准备工作 | 配置服务访问授权 | 为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。 | [配置服务访问授权](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0009.html) | | 准备工作 | 创建并管理盘古工作空间 | 平台支持用户自定义创建工作空间，并进行空间的统一管理。 | [创建并管理工作空间](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0005.html) | | 使用数据工程构建预测大模型数据集 | 导入数据至盘古平台 | 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 | [导入数据至盘古平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0025.html) | | 使用数据工程构建预测大模型数据集 | 加工预测类数据集（可选） | 对预测类数据集进行加工，包括算子加工、配比操作。 | [加工预测类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0338.html) | | 使用数据工程构建预测大模型数据集 | 发布预测类数据集 | 对预测类数据集进行发布操作。 | [发布预测类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0066.html) | | 开发盘古预测大模型 | 训练预测大模型 | 进行模型的训练，如微调训练方式。 | [训练预测大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0255.html) | | 开发盘古预测大模型 | 部署预测大模型 | 模型训练完成后，执行模型的部署操作。 | [部署预测大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0262.html) | | 开发盘古预测大模型 | 评测预测大模型 | 评测预测大模型的效果。 | [评测预测大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0319.html) | | 开发盘古预测大模型 | 调用预测大模型 | 支持API方式调用大模型。 | [调用预测大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0357.html) | | 管理盘古大模型空间资产 | 管理盘古数据资产 | 管理从AI Gallery订阅或已发布的数据集。 | [管理盘古数据资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0117.html) | | 管理盘古大模型空间资产 | 管理盘古模型资产 | 管理预置或训练后发布的模型。 | [管理盘古模型资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0118.html) | | 管理盘古大模型空间资产 | 管理盘古组件资产 | 管理预置或创建的组件。 | [管理盘古组件资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0119.html) | #### 科学计算大模型开发流程 ModelArts Studio大模型开发平台提供了科学计算大模型的全流程开发支持，涵盖了从数据处理到模型训练、部署、调用的各个环节。 科学计算大模型开发流程见[图5]、[表5]。 图5科学计算大模型开发流程图 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601606777.png) 表5科学计算大模型开发流程表 | 流程 | 子流程 | 说明 | 操作指导 | |:---|:---|:---|:---| | 准备工作 | 申请试用盘古大模型服务 | 盘古大模型为用户提供了服务试用，用户可根据所需提交试用申请，申请通过后才可以试用盘古大模型功能。 | [申请试用ModelArts Studio大模型开发平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0003.html) | | 准备工作 | 订购盘古大模型服务 | 正式使用盘古大模型服务前，需要完成服务的订购操作。 | [订购盘古大模型服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0004.html) | | 准备工作 | 配置服务访问授权 | 为了能够正常地存储数据、训练模型，需要用户配置盘古访问OBS的权限。 | [配置服务访问授权](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0009.html) | | 准备工作 | 创建并管理盘古工作空间 | 平台支持用户自定义创建工作空间，并进行空间的统一管理。 | [创建并管理工作空间](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0005.html) | | 使用数据工程构建科学计算大模型数据集 | 导入数据至盘古平台 | 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 | [导入数据至盘古平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0025.html) | | 使用数据工程构建科学计算大模型数据集 | 加工气象类数据集 | 对气象类数据集进行加工操作。 | [加工气象类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0206.html) | | 使用数据工程构建科学计算大模型数据集 | 发布气象类数据集 | 对气象类数据集进行发布操作。 | [发布气象类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0065.html) | | 开发盘古科学计算大模型 | 训练科学计算大模型 | 进行模型的训练，如预训练、微调等训练方式。 | [训练科学计算大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0185.html) | | 开发盘古科学计算大模型 | 部署科学计算大模型 | 将模型部署用于后续模型的调用操作。 | [部署科学计算大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0192.html) | | 开发盘古科学计算大模型 | 调用科学计算大模型 | 支持"体验中心"功能与API两种方式调用大模型。 | [调用科学计算大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0196.html) | | 管理盘古大模型空间资产 | 管理盘古数据资产 | 管理从AI Gallery订阅或已发布的数据集。 | [管理盘古数据资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0117.html) | | 管理盘古大模型空间资产 | 管理盘古模型资产 | 管理预置或训练后发布的模型。 | [管理盘古模型资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0118.html) | | 管理盘古大模型空间资产 | 管理盘古组件资产 | 管理预置或创建的组件。 | [管理盘古组件资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0119.html) |