# 盘古大模型 PanguLargeModels > 打造行业大模型,重塑千行百业 ## 产品介绍 - [什么是盘古大模型服务](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0001.md): 盘古大模型服务是华为云推出的一向面向行业的、全栈式人工智能产品组合,它不仅仅是单一的模型算法,也不仅仅是一个软件平台,而是以“模型能力 +开发平台”为核心架构,整体由“盘古系列大模型”与“ModelArts Studio大模型开发平台”两大板块组成,形成从模型供给到全流程开发的完整服务闭环。服务致力于解决企业AI落地难、门槛高、数据缺的痛 - [产品优势](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0002.md): 盘古大模型服务支持盘古NLP、CV、多模态、预测、科学计算五大基础模型能力,支持三方大模型的推理与部署,目前已预置DeepSeek R1/V3及Qwen等模型,多种模态逐步融合。首创大模型分层架构,基于盘古基础大模型训练行业大模型,支持在矿山、电力、油气、政务、金融、铁路、医药等专业领域商业化落地,打造工业级盘古解决方案。ModelArt - [大模型应用场景](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0003.md): 通过NLP大模型对传统的客服系统进行智能化升级,提升智能客服的效果。企业原智能客服系统:仅支持回复基础的FAQ,无语义泛化能力,意图理解能力弱,转人工频率极高。面对活动等时效性场景,智能客服无回答能力。使用NLP大模型对客服系统升级后:大模型智能客服可以7x24小时不间断服务,相较于人工客服,可以处理更多的客户咨询,且响应速度快;降低运营 - [空间管理](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0004.md): ModelArts Studio大模型开发平台为用户提供了灵活且高效的空间资产管理方式。平台支持用户根据不同的使用场景、项目类别或团队需求,自定义创建多个工作空间。详情请参见创建工作空间。每个工作空间都是完全独立的,确保了工作空间内的资产不受其他空间的影响,从而保障数据和资源的隔离性与安全性。用户可以根据需求灵活划分工作空间,实现资源的有 - [数据工程](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0006.md): ModelArts Studio大模型开发平台提供了全面的数据工程功能。该模块涵盖数据获取、加工、合成、标注、配比、评估和发布等关键环节,帮助用户高效构建高质量的训练数据集,推动AI应用的成功落地。具体功能如下:数据获取:用户可以轻松将多种类型的数据导入ModelArts Studio大模型开发平台,支持的数据类型包括文本、图片、视频、气 - [模型开发](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0007.md): ModelArts Studio大模型开发平台提供了模型开发功能,涵盖了从模型训练到模型调用的各个环节。平台支持全流程的模型生命周期管理,确保从数据准备到模型部署的每一个环节都能高效、精确地执行,为实际应用提供强大的智能支持。模型训练:在模型开发的第一步,ModelArts Studio大模型开发平台为用户提供了丰富的训练工具与灵活的配置 - [盘古NLP大模型](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0009.md): 盘古NLP大模型是业界首个超千亿参数的中文预训练大模型,结合了大量数据预训练和多源知识,借助持续学习不断吸收海量文本数据,持续提升模型性能。除了实现行业知识检索、文案生成、阅读理解等基础功能外,盘古NLP大模型还具备模型调用等高级特性,可在智能客服、创意营销等多个典型场景中,提供强大的AI技术支持。ModelArts Studio大模型开 - [盘古科学计算大模型](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0011.md): 盘古科学计算大模型面向气象、医药、水务、机械、航天航空等领域,融合了AI数据建模和AI方程求解方法。该模型从海量数据中提取数理规律,利用神经网络编码微分方程,通过AI模型更快速、更精准地解决科学计算问题。ModelArts Studio大模型开发平台为用户提供了多种规格的科学计算大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可 - [大模型开发基本流程介绍](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0012.md): 大模型(Large Models)通常指的是具有海量参数和复杂结构的深度学习模型,广泛应用于自然语言处理(NLP)等领域。开发一个大模型的流程可以分为以下几个主要步骤:数据集准备:大模型的性能往往依赖于大量的训练数据。因此,数据集准备是模型开发的第一步。首先,需要根据业务需求收集相关的原始数据,确保数据的覆盖面和多样性。例如,若是自然语言 - [大模型开发基本概念](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0014.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [身份认证与访问控制](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0017.md): 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式:Token认证:通过Token认证调用请求。AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要包含一个签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带 - [数据保护技术](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0018.md): 盘古大模型服务通过多种数据保护手段和特性,保障存储在服务中的数据安全可靠。 - [审计](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0019.md): 云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。CTS的详细介绍和开通配置方法, - [权限管理](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0020.md): 如果您需要对华为云上购买的盘古大模型资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(IAM)和盘古角色管理功能进行精细的权限管理。如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用服务的其他功能。通过IAM,您可以在华为云账号 - [约束与限制](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0021.md): 本节介绍盘古大模型服务在使用过程中的约束和限制。盘古大模型服务的规格限制详见表1。盘古大模型服务的配额限制详见表2。盘古大模型服务的功能限制详见表3。 - [与其他服务的关系](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0022.md): 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。盘古大模型使用云搜索服务CSS,加入检索模块,提高模型回复的准确性、解决内容过期问题。 - [盘古多模态大模型](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0023.md): 盘古多模态大模型融合文本、图像、视频等数据,利用深度学习实现跨模态语义对齐,实现多种模态的理解。ModelArts Studio大模型开发平台为用户提供了多种规格的多模态大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。如需了解模型计费相关内容,请参考计费说明。在选择和使用盘古大模型 - [盘古专业大模型](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0024.md): 盘古向量&重排大模型(Pangu-EmbeddingRank模型),用于大模型RAG场景。在文本处理阶段,将文本转换为向量化表示,以便进行检索。在文本检索阶段,对query进行相关度匹配,根据相关度在海量知识库中召回对应的切片,并对召回的切片进行精细化排序,以确保召回相关度top切片。以下是Pangu-EmbeddingRank-zh大模 - [盘古CV大模型](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0025.md): 盘古CV大模型基于海量图像、视频数据和盘古独特技术构筑的视觉基础模型,赋能行业客户利用少量场景数据对模型微调即可实现特定场景任务。ModelArts Studio大模型开发平台为用户提供了多种规格的CV大模型,如图像分类、目标检测、图像分割、姿态估计、开集分类等以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的 - [盘古预测大模型能力与规格](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0026.md): 盘古预测大模型是面向结构化数据,通过任务理解、模型推荐、模型融合技术,构建通用的预测能力。ModelArts Studio大模型开发平台为用户提供了多种规格的预测大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。如需了解模型计费相关内容,请参考计费说明。在选择和使用盘古大模型时,了解 - [盘古图像搜索模型](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0028.md): 盘古图像搜索模型,用于服装标签场景,基于transformer结构,其中Large模型的参数量31M,模型推理使用固定的尺寸,推理速度快,兼具模型效果和推理性能。 - [三方大模型](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0029.md): 除了盘古自研模型外,当前ModelArts Studio大模型开发平台还面向NLP领域,集成热门的开源三方NLP模型以供客户选择使用。例如:DeepSeek V3发布于2024年12月26日,是一个MoE架构的LLM模型,总共671B参数量,在数学、代码类相关评测集上取得了超过GPT-4.5的得分成绩。DeepSeek R1与DeepSe - [盘古NLP行业大模型](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0033.md): 盘古行业大模型在盘古NLP大模型的基础之上结合了垂直行业的海量数据,配套MA Studio平台和工具链,可化解特定行业数据构建难、模型效果调优难、场景能力评测难三大难题,满足行业通用场景开箱即用。除了实现行业知识检索、文案生成、阅读理解等基础功能外,盘古行业NLP大模型可在行业领域场景提供更高精度的AI技术支持。ModelArts Stu - [天筹求解器](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0035.md): 求解器是用来求解数学问题的软件服务,广泛应用于云计算、金融、交通、制造、能源等领域,解决资源调度优化、资产组合优化、能耗优化、生产排产等核心生产问题,是决策优化系统的核心引擎和根技术。华为天筹求解器服务(OptVerse)华为云打造的面向企业级复杂优化问题的高性能、易集成、云原生的求解服务平台。是一种基于华为云基础架构和平台的智能决策服务 - [ModelArts Studio平台、盘古服务、盘古模型的关系](https://support.huaweicloud.com/productdesc-pangulm/pangulm_01_0036.md): 为了帮助您更好地理解产品逻辑,本章将深入解析盘古大模型服务、盘古模型与ModelArts Studio平台之间的逻辑关系与协作模式。理解这三者的关系,有助于您理清从“资源获取”到“应用落地”的整个业务脉络。盘古大模型服务不是把“模型”和“平台”简单拼在一起,而是一套相互依赖的有机体系。可以用 “资产—工具—交付” 的三角关系来理解三者分工 ## 计费说明 - [计费概述](https://support.huaweicloud.com/price-pangulm/pangulm_02_0001.md): 通过阅读本文,您可以快速了解盘古大模型的计费模式、计费项、续费、欠费等主要计费信息。计费模式盘古大模型提供包周期计费、按需计费两种计费模式,以满足不同场景下的用户需求。关于计费模式的详细介绍请参见计费模式。包周期计费是一种预付费模式,即先付费再使用,按照订单的购买周期进行结算,因此在购买之前,您必须确保账户余额充足。按需计费是一种后付费模 - [计费模式](https://support.huaweicloud.com/price-pangulm/pangulm_02_0002.md): 包周期计费模式属于预付费模式,即先付费再使用。按需计费模式属于后付费模式,即费用根据服务实际消耗量计费,系统将每小时自动扣费。盘古大模型的计费模式见表1。 - [计费项](https://support.huaweicloud.com/price-pangulm/pangulm_02_0003.md): 数据资源、训练资源和推理资源三个收费项。数据智算单元、数据通算单元支持两种计费方式,包周期订购按使用数量和时长预付费,提供1个月到1年供客户选择,按需订购按单元使用数量和时长后付费,时长精确到秒,数据托管单元按订购数量和时长预付费,提供1个月到1年供客户选择。模型训练资源支持两种计费方式,包周期按订购数量和时长预付费,提供1个月到1年供客 - [变更计费模式](https://support.huaweicloud.com/price-pangulm/pangulm_02_0004.md): 数据托管单元、推理单元默认采用包周期计费,训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。盘古大模型使用周期内不支持变更配置。 - [续费](https://support.huaweicloud.com/price-pangulm/pangulm_02_0005.md): 包周期服务到期后,您可以通过手动续费来延长服务的有效期。包周期服务到期后,如果在保留期结束前未完成续费,后续则不能再对已过保留期的服务进行续费操作,需重新购买对应的服务。 - [欠费说明](https://support.huaweicloud.com/price-pangulm/pangulm_02_0006.md): 在使用云服务时,如果账户的可用额度低于待结算账单金额,即被判定为账户欠费。欠费可能会影响云服务资源的正常运行,因此需要及时充值。预付费模式购买后不涉及欠费。服务按时长计费的,当余额不足以支付当前费用时,账户将被判定为欠费。由于盘古大模型不涉及物理实体资源,因此无宽限期。欠费后继续调用服务会导致账户冻结,并直接进入保留期,保留期按需资源不可 - [停止计费](https://support.huaweicloud.com/price-pangulm/pangulm_02_0007.md): 对于包年/包月计费模式的资源,用户在购买时会一次性付费,服务将在到期后自动停止使用。如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。对于按需计费模式的资源,若不再使用这些资源且需停止计费,请删除相应 - [包年/包月和按需计费模式有什么区别](https://support.huaweicloud.com/price-pangulm/pangulm_02_0009.md): 包年/包月和按需计费模式的区别如下:包年/包月计费模式:包年/包月的计费模式是一种预付费方式,按订单的购买周期计费,适用于可预估资源使用周期的场景。按需计费模式:按需付费是后付费方式,可以随时开通/关闭对应资源,支持秒级计费,系统会根据云服务器的实际使用情况每小时出账单,并从账户余额里扣款。 - [包年/包月和按需计费模式哪个更划算](https://support.huaweicloud.com/price-pangulm/pangulm_02_0010.md): 包年/包月和按需计费模式可针对不同业务需求进行选择:对于长时间且稳定的业务需求,包年/包月模式通常更划算,因为它能提供更低的平均成本和一定的稳定性。对于短期、突发或不可预测的业务需求,按需计费模式则更为合适,因为它提供了更高的灵活性和避免长期预付费可能带来的压力。 - [同一资源是否同时支持包年/包月和按需计费两种模式](https://support.huaweicloud.com/price-pangulm/pangulm_02_0011.md): 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费,训练单元、数据智算单元、数据通算单元采用包周期和按需计费两种方式。两种计费方式不能共存,只支持按照一种计费方式进行订购。 - [包年/包月和按需计费模式是否支持互相切换](https://support.huaweicloud.com/price-pangulm/pangulm_02_0012.md): 包年/包月和按需计费模式使用周期内不支持主动切换,需要联系客服进行变更配置。盘古大模型的资源与资产计费模式不同,详见计费模式。 - [资源到期了如何续费](https://support.huaweicloud.com/price-pangulm/pangulm_02_0013.md): 包年/包月方式购买的资源到期后,请在平台订购管理页面进行续订操作。具体步骤如下:登录ModelArts Studio大模型开发平台,单击页面右上角“订购管理”。在“订购管理”页面,单击“资源订购”页签。在“资源订购”页签可进行数据资源、训练资源、推理资源的续费操作。Studio训练按需计费规则说明:训练任务按需计费时训练时长统计规则:训练 ## 快速入门 - [使用盘古预置NLP大模型进行文本对话](https://support.huaweicloud.com/qs-pangulm/pangulm_02_0003.md): 此示例演示了如何使用盘古预置NLP大模型进行对话问答,包含两种方式:使用“体验中心”功能和调用API接口。您将学习如何使用“体验中心”功能调试模型超参数、如何调用盘古NLP大模型API以实现智能化对话问答能力。请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NL - [使用盘古NLP大模型创建Python编码助手应用](https://support.huaweicloud.com/qs-pangulm/pangulm_03_0008.md): 该示例演示了如何使用盘古NLP大模型创建Python编码助手执行应用,示例将使用Agent开发平台预置的Python解释器预置插件。“Python解释器插件”能够执行用户输入的Python代码,并获取结果。此插件为应用提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。请确保您有预置的NLP大模型,并已完成模型的 ## 用户指南 - [盘古大模型服务使用流程](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0001.md): 盘古大模型服务包含盘古基础大模型、盘古行业大模型与ModelArts Studio大模型开发平台。凭借“模型+开发平台”的产品组合,助力各行业客户实现一站式的大模型开发与应用能力。ModelArts Studio大模型开发平台是盘古大模型服务推出的包括数据管理、模型训练、模型部署于一体的综合平台,专为开发和应用大模型而设计,旨在为开发者提 - [申请试用ModelArts Studio大模型开发平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0003.md): 在您使用华为ModelArts Studio前,需要先注册华为云并实名认证。您可以申请试用ModelArts Studio大模型开发平台提供的各种服务,ModelArts Studio大模型开发平台提供了丰富的大模型开发套件,为您的试用旅程提供一站式服务。试用申请步骤如下:登录ModelArts Studio大模型开发平台。单击“试用咨询 - [订购盘古大模型服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0004.md): 盘古大模型服务部分模型订购对接了公测系统,您在订购盘古大模型前如果提示需要申请公测,请先申请对应模型的公测,申请通过后才能使用对应模型提供的服务。申请公测步骤请参见申请公测。模型资产订购前,需要申请对应模型的大模型公测活动,申请通过后才能使用对应大模型。以订购CV大模型为例,以下步骤将描述如何申请大模型服务的公测。进入订购页面,在“开发场 - [工作空间介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0006.md): 工作空间功能旨在为用户提供灵活、高效的资产管理与协作方式。平台支持用户根据业务需求或团队结构,自定义创建独立的工作空间。每个工作空间在资产层面完全隔离,确保资产的安全性和操作的独立性,有效避免交叉干扰或权限错配带来的风险。用户可以结合实际使用场景,如不同的项目管理、部门运营或特定的研发需求,划分出多个工作空间,实现资产的精细化管理与有序调 - [创建并管理工作空间](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0007.md): 如果当前用户所在用户组未获取全部云服务管理员(Tenant Administrator)授权,则无法创建工作空间。创建空间前,请参考创建用户组及创建盘古子用户步骤,赋予当前用户组全部云服务管理员(Tenant Administrator)权限,或创建具有全部云服务管理员(Tenant Administrator)权限的用户组和对应的用户。 - [管理工作空间成员](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0008.md): 如果您期望对企业员工的访问权限进行差异化设置,实现功能使用权限与资产权限的有效隔离,可通过为不同员工配置相应角色达成这一目标,进而保障资产安全,提升管理效率。如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章,这不会对您使用盘古的其他功能造成任何影响。您可以使用统一身份认证服务(IAM)并结 - [配置服务访问授权](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0009.md): ModelArts Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。配置OBS访问授权步骤如下:登录ModelArts Studio大模型开发平台首页。配 - [数据工程介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0015.md): 数据工程是ModelArts Studio大模型开发平台(下文简称“平台”)为用户提供的一站式数据处理与管理功能,旨在通过系统化的数据获取、加工、发布等过程,确保数据能够高效、准确地为大模型的训练提供支持,帮助用户高效管理和处理数据,提高数据质量和处理效率,为大模型开发提供坚实的数据基础。数据工程包含的具体功能如下:数据获取:数据获取是数 - [数据工程使用流程](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0017.md): 高质量数据是推动大模型不断迭代和优化的根基,它的质量直接决定了模型的性能、泛化能力以及应用场景的适配性。只有通过系统化地准备和处理数据,才能提取出有价值的信息,从而更好地支持模型训练。因此,数据的获取、加工、合成、标注、配比、评估、发布等环节,成为数据开发中不可或缺的重要步骤。数据工程操作流程见图1、表1。在使用数据加工的大模型算子、数据 - [文本类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0019.md): ModelArts Studio大模型开发平台支持创建文本类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 - [视频类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0020.md): ModelArts Studio大模型开发平台支持创建视频类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 - [图片类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0021.md): ModelArts Studio大模型开发平台支持创建图片类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。该说明适用于表1中的物体检测标注文件格式。物体检测数据集支持格式为ModelArts PASCAL VOC 1.0。要求用户将标注对象和标注文件存储在同一目录,并且一一对应,如标注对象文件名为“IMG_20180919_1 - [气象类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0022.md): ModelArts Studio平台支持导入气象类数据集,气象数据通常来源于气象再分析过程。气象再分析是通过现代气象模型和数据同化技术,重新处理历史观测数据,生成高质量的气象记录。这些数据既可以覆盖全球范围,也可以针对特定区域,旨在提供完整、一致且高精度的气象数据。 - [其他类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0024.md): 除文本、图片、视频、音频、多模态、气象、预测类数据集外,平台还支持导入其他类数据集,即用户训练模型时使用的自定义数据集。其他类数据集支持加工其他类数据集与发布其他类数据集操作。从OBS导入:单个文件大小不超过50GB,文件数量不限制。本地上传:单个文件大小不超过10M,文件数量最多100个。 - [模型部署形态、架构和卡型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_00244.md): 预测大模型云上部署支持算力硬切分,云上部署资源池算力切分是将资源池的资源进行硬切分的一种方式,将单资源切分为多资源,旨在资源的充分利用,减少资源浪费。详情请参考《盘古大模型服务 (PanguLM) 8.6.1 配置指南 (for 华为云Stack 8.6.1) 01》中的资源池 > 配置云上部署资源池算力切分章节。预测大模型边缘部署支持算 - [导入数据至盘古平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0025.md): 数据集是一组用于处理和分析的相关数据样本。用户将存储在OBS服务中的数据或本地数据导入至ModelArts Studio大模型开发平台后,将生成“原始数据集”被平台统一管理,用于后续加工或发布操作。创建导入任务前,请先按照数据集格式要求提前准备数据。平台支持使用OBS服务导入数据,请详见通过控制台快速使用OBS。创建导入任务步骤如下:登录 - [数据集加工场景介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0027.md): ModelArts Studio大模型开发平台提供数据加工功能,涵盖了数据加工、数据合成、数据标注和数据配比关键操作,旨在确保原始数据符合业务需求和模型训练的标准,是数据工程中的核心环节。数据加工通过专用的加工算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提高数据 - [文本类加工算子介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0029.md): 平台支持文本类数据集的加工操作,分为数据提取、数据转换、数据过滤、数据打标四类,文本类加工算子能力清单见表1。使用数据打标的问题时效性评估、回答质量评分、语法质量评估、通用质量评估、SFT通用语义质量评分、SFT思维链质量评分算子、泛理科文本检测前,请确保有已部署的NLP大模型,具体步骤详见创建NLP大模型部署任务。适用的文件格式:“文档 - [视频类加工算子介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0030.md): 平台支持视频类数据集的加工操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。适用的文件格式:“视频>mp4 / avi”。各参数说明:过滤参数:通过获取视频数据集标签作为过滤条件。过滤参数:通过获取视频数据集标签作为过滤条件。算子功能描述:同时满足所有过滤条件的视频会被过滤掉。使用说明:对于没有标签的纯视频数据,可 - [图片类加工算子介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0031.md): 平台提供了图文类、图片类加工算子,算子能力清单见表1。适用的文件格式:jpg、jpeg、png、bmp。tar:所有图片保存为tar包。tar包含图片支持:jpg、jpeg、png、bmp图片类型。jpg、jpeg、png、bmp。tar:所有图片保存为tar包。tar包含图片支持:jpg、jpeg、png、bmp图片类型。算子功能描述: - [模型训练形态、架构和卡型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_00312.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [气象类加工算子介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0032.md): 平台支持气象类数据集的加工操作,气象类加工算子能力清单见表1。适用的文件格式:.nc、.cdf、.netcdf、.gr、.gr1、.grb、.grib、.grb1、.grib1、.gr2、.grb2、.grib2。算子说明:将二进制格式的气象数据文件转换成结构化JSON数据。参数配置样例:过滤样例:加工后:加工后: - [加工文本类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0034.md): 加工文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。创建文本类数据集加工任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。在“创建加工任务”页面,选择需要加工 - [加工视频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0035.md): 加工视频类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。在“创建加工任务”页面,选择需要加工的视频类数据集,单击“下一步”。进 - [加工图片类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0036.md): 加工图片类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。创建图片类数据集加工任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。在“创建加工任务”页面,选择需要加工 - [加工算子介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0037.md): 算子是一种独立且可复用的逻辑单元,用于实现特定功能,并且能够通过组合构建实现更为复杂的业务功能。它的核心思想是:将特定的逻辑或功能封装成一个独立的模块,通过定义清晰的输入和输出接口,使其能够被轻松调用和组合,从而构建出更高级、更复杂的业务流程。数据工程中的算子是为了实现特定功能而封装出的独立模块,整体上分为预置加工算子和自定义加工算子。预 - [加工多模态类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0041.md): 加工多模态类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。在“创建加工任务”页面,选择需要加工的多模态类数据集,单击“下一步” - [配比多模态类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0042.md): 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。如果单个数据集已满足您的需求,可跳过此章节至 4.6.9 发布多模态类数据集。创建多模态类数据集配比任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间支持“多模态理解(预训 - [使用加工模板](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0047.md): 平台支持对加工模板进行查看、编辑、删除操作,具体步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏选择“数据工程 > 数据加工 >加工任务”。在“加工任务”页面,可以看到“加工模板”页签。加工模板选择需要删除的自定义模板,单击“删除”,即可删除对应模板。单击需要查看的模板名称,即可查看模 - [算子配置文件规范](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0049.md): 算子配置文件是一个YAML文件,用于描述算子的基本信息、功能参数、运行环境以及资源需求等。算子配置文件示例如下: - [算子包开发规范](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0050.md): 假设算子包名称为video_clip.tar,算子包解压后目录结构:算子包必须包含一个名为process.py脚本,根据算子配置文件中auto-data-loading字段值分为两种开发模式。适用场景:除了以下三类场景,推荐使用该模式。输入数据集为多模态数据集场景:例如图片+文本,视频+文本等由两种及以上模态组合的数据集。输出数据集模态不 - [算子开发典型样例](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0051.md): 算子包目录结构:manifest.yml文件内容:process.py文件内容:requirements.txt文件内容:算子包目录结构:manifest.yml文件内容:process.py文件内容: - [管理自定义算子](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0052.md): 创建自定义加工算子查看自定义加工算子列表查看自定义加工算子详情更新自定义加工算子删除自定义加工算子恢复自定义加工算子彻底删除自定义加工算子登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“管理加工算子”。在“加工算子管理 > - [创建API服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0058.md): API管理模块可以对评测服务的API进行管理,在创建评测任务的时候选择评测服务即可。可以对API进行创建、编辑、删除。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > API管理”,单击界面右上角“创建API”。定义API名称、模型系列,并选择模型类型和API描述(可 - [数据集发布场景介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0060.md): ModelArts Studio大模型开发平台提供的数据发布功能涵盖数据评估和数据发布操作,旨在通过数据质量评估,确保数据满足大模型训练的多样性、平衡性和代表性需求,促进数据的高效流通和应用。数据发布不仅包括将数据发布为适合使用的格式,还要求根据任务需求评估数据集效果,确保数据集在规模、质量和内容上符合模型训练的标准。数据评估平台预置了多 - [发布气象类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0065.md): 操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任务”。在“创建发布任务”页面,筛选数据集模态,如“气象”类型的数据集。筛选数据集模态选择数据集,单击“下一步”。在“基本配置”中选择数据用途、 - [发布预测类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0066.md): 操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任务”。在“创建发布任务”页面,筛选数据集模态,如“预测”类型的数据集。筛选数据集模态选择数据集,单击“下一步”。在“基本配置”中选择数据用途、 - [发布其他类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0067.md): 操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任务”。在“创建发布任务”页面,筛选数据集模态,如“其他”类型的数据集。筛选数据集模态选择数据集,单击“下一步”。在“基本配置”中选择数据用途、 - [数据工程常见报错与解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0068.md): 数据工程常见报错及解决方案请详见表1。 - [创建视频生成大模型评测数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0105.md): 评测数据集的创建步骤如下:登录ModelArts Studio平台,进入所需空间。在左侧导航栏中选择“评测平台 > 评测集管理 ”,单击界面右上角“创建评测集”。在“创建评测集”页面选择“多模态大模型”,模型类型选择“文生视频”、“图生视频”或“视频续写”。单击下载样例,参考样例文件的格式上传评测集数据到OBS,样例文件包含jsonl格式 - [创建API服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0106.md): API管理模块可以对评测服务的API进行管理,在创建评测任务的时候选择评测服务即可。可以对API进行创建、编辑、删除。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > API管理”,单击界面右上角“创建API”。定义API名称、模型系列,并选择模型类型和API描述(可 - [创建视频生成大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0107.md): 创建视频生成大模型评测任务前,请确保已完成创建视频生成大模型评测数据集操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,单击界面右上角“创建自动评测任务”。在“创建自动评测任务”页面,参考表1完成部署参数设置。视频生成大模型人工评测任务参数 - [查看视频生成大模型评测报告](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0108.md): 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”。单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。其中,各评测指标说明详见表1。其中,各评测指标说明详 - [管理视频生成大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0109.md): 在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,可进行如下操作:克隆。单击操作列的“克隆”,可以复制当前状态为“已完成”评测任务。启动。单击操作列的 - [天筹求解器介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0111.md): 天筹求解器服务(OptVerse)是一种基于华为云基础架构和平台的智能决策服务,以自研AI求解器为核心引擎,结合机器学习与深度学习技术,为企业提供生产计划、切割优化、路径优化等一系列有竞争力的行业解决方案。 - [创建天筹求解器模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0113.md): 平台支持部署预置的天筹求解器,操作步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选择“模型广场 > 求解器”,选择所需模型及版本,单击“确定”进入“创建部署”页面。在“创建部署”页面,参考表1,完成部署 - [查看天筹求解器模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0114.md): 部署任务创建成功后,可以查看求解器部署的任务详情,具体步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,完成创建天筹求解器模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等待。当状态显示 - [盘古大模型空间资产介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0116.md): 在ModelArts Studio大模型开发平台的空间资产中,包括数据、模型、组件资产。这些资产为用户提供了集中管理和高效操作的基础,便于用户实现统一查看和操作管理。数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式、大小、配比比例等。同时,平台支持数据集的删除等管理操作,使用户能够统一 - [管理盘古数据资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0117.md): 数据资产是指在平台中被纳入管理、存储并可供使用的数据集。数据资产包含以下两种形式:用户自行发布的数据集。用户可以通过“数据工程 > 数据发布 >发布任务 ”功能将数据集发布为数据资产。发布的数据集支持查看详细信息、编辑、删除以及发布至AI Gallery等操作。用户可以通过“数据工程 > 数据发布 >发布任务 ”功能将数据集发布为数据资产 - [管理盘古模型资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0118.md): 模型资产是指在盘古大模型开发平台被纳管,存储及可被使用的模型。模型资产包含以下两种形式:预置模型。盘古大模型平台中可试用模型、已订购的预置模型。盘古大模型平台中可试用模型、已订购的预置模型。用户自行发布的模型。用户在盘古大模型平台训练并发布的模型。用户在盘古大模型平台训练并发布的模型。登录ModelArts Studio大模型开发平台,在 - [管理盘古组件资产](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0119.md): 组件资产包含以下多种形式:脚本。算法包。后处理代码。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“空间资产 > 组件”,可以查看“本空间”、“其他空间”、“预置”的组件资产。单击“本空间”页签,可对用户在当前空间发布的组件执行编辑属性、删除操作。 - [什么是提示词工程](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0120.md): 提示词工程(Prompt Engineering)是一个较新的学科,应用于开发和优化提示词(Prompt),帮助用户有效地将大语言模型用于各种应用场景和研究领域。掌握提示词工程相关技能将有助于用户更好地了解大语言模型的能力和局限性。提示词工程不仅是关于设计和开发提示词,它包含了与大语言模型交互和开发的各种技能和技术。提示工程在实现和大语言 - [获取提示词模板](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0122.md): 平台提供了多种任务场景的提示词模板,可以帮助用户更好地利用大模型的能力,引导模型生成更准确、更有针对性的输出,从而提高模型在特定任务上的性能。在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。提示词模板可在平台“Agent 开发 > 提示词工程 > 提示词模板”中获取。 - [创建提示词工程](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0124.md): 通过精心设计和优化提示词,可以引导大模型生成用户期望的输出。提示词工程任务的目标是通过设计和实施一系列的实验,来探索如何利用提示词来提高大模型在各种任务上的表现。撰写提示词前需要先创建提示词工程,用于对提示词进行统一管理。登录ModelArts Studio大模型开发平台,进入所需空间。在左侧导航栏中选择“Agent开发 > 提示词工程 - [撰写提示词](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0125.md): 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息,如主题、风格、格式等。撰写提示词时,可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息,让模型根据不同的情况生成不同的文本,增加模型的灵活性和适应性。例如,将提示词设置为“你是一个旅游助手,需要给用户介绍旅行地的风土人情。请介绍下{{ - [预览提示词效果](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0126.md): 提示词撰写完成后,可以通过输入具体的变量值,组成完整的提示词,查看不同提示词在模型中的使用效果。在撰写提示词页面,找到页面右侧变量输入区域,在输入框中输入具体的变量值信息。输入变量值后预览区域会自动组装展示提示词。也可以直接选择已创建的变量集填入变量值信息,变量集是一个excel文件,每行数据是需要输入的变量值信息,可以通过“导入”功能进 - [设置候选提示词](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0128.md): 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对,以查看其效果。每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。登录ModelArts Studio大模型开发平台,进入所需空间。在左侧导航栏中选择“Agent开发 > 提示词工程 > 提示词开发”。在工程任务列表页面,找到所需要操作的工程任务 - [横向比较提示词效果](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0129.md): 将设置为候选的提示词横向比对,获取提示词的差异性和效果。登录ModelArts Studio大模型开发平台,进入所需空间。在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。提示词工程在“撰写”页面,选择左侧导航栏中的“候选”。在候选列表中,勾选 - [创建提示词评估数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0131.md): 批量评估提示词效果前,需要先上传提示词变量数据文件用于创建对应的评估数据集。提示词变量是一种可以在文本生成中动态替换的占位符,用于根据不同的场景或用户输入生成不同的内容。其中,变量名称可以是任意的文字,用于描述变量的含义或作用。上传文件限xlsx格式。数据行数不小于10行,不大于50行。数据不允许相同表头,表头数量小于20个。数据单条文本 - [创建提示词评估任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0132.md): 选择候选提示词进行批量自动化评估,步骤如下:登录ModelArts Studio大模型开发平台,进入所需空间。在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”。在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务右侧“撰写”。在“撰写”页面,选择左侧导航栏中的“候选”。在候选列表中,勾选需要进行横向比对的提示 - [查看提示词评估结果](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0133.md): 评估任务创建完成后,会跳转至“评估”页面,在该页面可以查看评估状态。查看提示词评估任务状态单击“评估名称”,进入评估任务详情页,可以查看详细的评估进度,例如在图2中有10条评估用例,当前已评估8条,剩余2条待评估。查看评估进展评估完成后,可以查看每条数据的评估结果。在评估结果中,“预期结果”表示变量值(问题)所预设的期望回答,“生成结果” - [发布提示词](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0134.md): 通过横向比较提示词效果和批量评估提示词效果,如果找到高质量的提示词,可以将这些提示词发布至“提示词模板”中。在提示词“候选”页面,选择质量好的提示词,并单击“保存到模板库”。保存提示词至模板库进入“Agent 开发 > 提示词工程 > 提示词模板”页面,查看发布的提示词。 - [工业应用编排介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0136.md): 工业应用编排功能是一个基于脚本组件和算法包组件的编排工具。其中,组件是用来构成应用编排的最小业务单元,即将封装好的业务功能作为应用编排中的一个节点,实现特定的业务功能。例如,需要构建一个视频抽帧的应用,该应用需要具备读取视频数据、视频抽帧、抽帧后图片处理、输出图片数据的功能。那么可以将各个处理模块的代码脚本封装为组件,通过工业应用编排功能 - [预置组件功能介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0139.md): 平台提供了多种预置组件方便用户使用。convert_obs_file_to_base64组件用于读取obs上的文件,并将其转换为base64编码,适用于类似图片的小文件base64转换。其中,AK、SK获取方法如下:登录华为云管理控制台,鼠标移动至页面右上角用户名位置,单击“我的凭证”,在“我的凭证”页面,进入“访问密钥”页签获取AK、S - [创建脚本组件](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0140.md): 脚本组件适用于简单的代码处理任务,特别是可以通过单个代码文件解决的问题。例如,将读取本地数据功能设置为脚本组件。脚本组件仅支持Python脚本,脚本组件可以将代码进行整合,使得代码更加模块化,同时也提高了代码的可读性和可维护性。脚本语言:脚本组件仅支持Python脚本。类定义:脚本组件必须定义一个名为Template的类。这个类名是固定的 - [创建算法包组件](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0141.md): 算法包组件适合处理复杂的场景,如承载算法模型的任务。在使用时,算法包组件将被配置为一个独立的服务,以供各组件进行访问。打包格式:算法包需要打包成tar包或tar.gz格式,不支持其他格式。解压后的目录结构不应包含第一层文件夹,应为以下结构:软件包目录结构:- main.py - dependency/ - lib/ - [部署算法包组件](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0142.md): 运行算法包组件依赖于CPU、NPU这类计算资源。如果应用中有使用算法包组件,需要先执行部署操作。部署后算法包就能在一个独立、隔离的环境中运行,同时也能被其他组件访问。登录ModelArts Studio平台,进入所需空间。在左侧导航栏中选择“垂域应用开发 > 应用组件 > 组件管理 > 自定义”,进入“算法包”页签。算法包列表选择“已生效 - [创建静态应用](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0143.md): 登录ModelArts Studio平台,进入所需空间。在左侧导航栏中选择“垂域应用开发 > 工业应用编排”,在“工业应用编排”页面,单击右上角“创建画布”。在“创建画布”页面填写英文名称、中文名称,单击“下一步”。画布右上角提供了画布参数功能,用于定制画布应用的API入参。在画布应用部署后,可以传入参数对应的名称,将画布应用的参数与组件 - [部署静态应用](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0144.md): 完成创建静态应用操作后,在画布右上角单击“画布部署”,并参考表1进行部署画布。画布部署部署参数说明参数名称说明部署方式服务的部署类型,支持边缘部署。服务名称部署服务的名称。架构类型部署的资源池架构类型,与实际算法的架构相关。资源池选择部署的资源池。支持专属资源池和边缘资源池。若需要使用Ascend卡,当前支持推理卡类型为Snt3p。负载均 - [调用静态应用](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0145.md): 部署静态应用操作完成后,在画布右上角单击“画布服务”,可获取该静态应用的调用地址。根据服务调用地址以及组件或者画布的请求参数构造调用请求,完成服务的调用,请求参数配置见表1。边缘部署服务的访问URL格式为:<所使用负载均衡的协议>://<负载均衡的IP(通常为资源池主节点IP)>:<负载均衡的端口>/<服务的访问地址>例如:部署使用的负载 - [示例:使用内置组件创建容器数据存取应用](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0146.md): 本案例使用内置组件完成将数据保存到容器并从容器中读取的功能。一方面是帮助用户理解这两个内置组件的功能及使用,另一方面是展示组件的编排连接能力,帮助用户熟悉画布编排功能的使用。登录ModelArts Studio平台,进入所需空间。在左侧导航栏中选择“应用开发 > 工业应用编排”,进入“工业应用编排”页面,单击右上角“创建画布”。依次在画布 - [管理天筹求解器模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0147.md): 部署任务创建后,如果需要修改模型部署信息,可以在详情页面单击右上角“模型更新”或者“修改部署”进行修改。更新模型时可以替换模型、修改环境变量。修改部署时,模型无法进行替换。“运行中”状态的模型支持进行模型更新、修改部署操作。模型更新、修改部署后进行升级操作时,可以选择全量升级、滚动升级两种方式。全量升级:旧版本和新版本的服务会同时运行,直 - [上传文件](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0150.md): 上传文件并非必须步骤,部分服务的输入输出参数较多,不适合在postman请求中直接传递,需要设置输入文件路径与输出文件夹路径用于读取数据与存放求解结果。在调用前请阅读服务API对应的“创建求解任务”小节,查看请求参数表格与查看请求实例,判断是否需要预先上传文件。目前仅数学规划求解器与数值计算求解器涉及文件上传操作。搜索对象存储服务OBS, - [权限配置](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0151.md): 权限配置为必选步骤,需要配置OBS桶策略与桶ACL,使服务能正常访问用户桶内资源。进入OBS对应桶内,左侧权限控制中选择桶策略,参考图3内容配置桶策略参数。其中其他账号与委托账号加入资源租户的domain_id,填写格式为{domain_id}/*。资源租户的domain_id请通过右上角提工单的方式联系技术支持获取。单击确定保存。进入O - [调用API](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0152.md): 天筹求解器下服务的API请求地址可以直接在ModelArts Studio平台获取。本示例以调用<数学规划求解器>为例,进行讲解。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击“模型名称”在“详情”页面获取API请求地址。只有处于“运行中”状态的模型才可以 - [查询结果](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0153.md): 在Postman中新建一个GET请求,填入与数学规划求解器API相同的域名(调用查询推理作业详情API所需要的域名与创建推理作业API一致。获取完整的创建推理作业API后,在这个API基础上去除末尾的/task即是域名。)、请求Header参数、任务id参数,Body无需填写。单击Postman界面“Send”按钮,发送请求。获取数学规划 - [其他功能](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0154.md): 在Postman中新建一个GET请求,填入与数学规划求解器API相同的域名(调用查询推理作业详情API所需要的域名与创建推理作业API一致。获取完整的创建推理作业API后,在这个API基础上去除末尾的/task即是域名。)、请求Header参数、任务id参数,Body无需填写。单击Postman界面“Send”按钮,发送请求。获取数学规划 - [训练失败定位方法](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0156.md): 在训练任务列表查看任务失败原因模型启动训练后,可以在模型训练列表中查看训练任务的状态,当任务状态为“失败”时,可将鼠标放置在“失败”上,可以查看到任务失败的概要信息。查看训练失败日志模型启动训练后,可以在模型训练列表中查看训练任务的状态,当任务状态为“失败”时,可将鼠标放置在“失败”上,可以查看到任务失败的概要信息。在任务详情页查看训练任 - [预测模型环境变量](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0157.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [使用数据工程构建NLP大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0165.md): 盘古NLP大模型仅支持接入文本类数据集,数据集文件内容包括:预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答、偏好优化DPO等,同时新增了Reasoner模型,Reasoner模型是一种基于逻辑推理或知识推理的AI模型。不同训练方式所需要使用的数据见表1,该数据集格式要求请参见文本类数据集格式要求。使用数据工程构建盘古NLP - [NLP大模型训练流程与选择建议](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0168.md): NLP大模型的训练分为两个关键阶段:预训练和微调。预训练阶段:在这一阶段,模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础,如阅读理解、文本生成和情感分析,但它还未能针对特定任务进行优化。针对预训练阶段,还可以继续进行训练,这一过程称为增量预训练。增量预训练是在已经完成的预训练的基础上继续 - [创建NLP大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0169.md): 创建NLP大模型预训练任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击确定进入创建训练任务页面。在“创建训练任务”页面,参考表1完 - [查看NLP大模型训练状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0170.md): 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、任务详情、日志等信息。在模型训练列表中查看训练任务的状态,各状态说明详见表1。对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见表2。单击训练任务名称,可以在“日志”页面查看训练过程中产生的 - [发布训练后的NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0171.md): NLP大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“去发布”。训练结果页面填写资产名称、描述,选择对应的可见性,单击“确定”发布模型 - [管理NLP大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0172.md): 在训练任务列表中,任务创建者可以对任务进行编辑、克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:克隆。单击操作列的“克隆”,参照创建NLP大模型训练任务填写参数,可以复制当前 - [NLP大模型训练常见报错与解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0173.md): NLP大模型训练常见报错及解决方案请详见表1和表2。 - [压缩NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0174.md): 在大模型部署过程中,通常会遇到模型体积大、推理资源消耗高的问题,这不仅增加了部署成本,还可能影响模型的推理速度和性能。为了应对这一挑战,可以通过模型压缩技术来降低模型的推理显存占用,从而节省推理资源并提高推理性能。仅支持对NLP大模型进行压缩。“模型广场”预置NLP模型不支持压缩。支持对“模型广场”的NLP模型做二次训练后的模型做压缩操作 - [创建NLP大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0176.md): 平台支持部署训练后的模型或预置模型,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“创建部署”页面,参考表1完成部署参数设置。NLP大模型部署参数说明参数分类部署参数参数说明部署配置选择模型可以修改 - [查看NLP大模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0177.md): 部署任务创建成功后,可以查看大模型部署任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建NLP大模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等 - [管理NLP大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0178.md): 完成创建NLP大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。单击右上角“模型更新”,进入“模型更新”页面。在“可修改配置 > 选择模型”中,可选择 - [使用“体验中心”调用NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0180.md): 体验中心功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见创建NLP大模型部署任务。使用“体验中心”调用NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在 - [使用API调用NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0181.md): 预置模型或训练后的模型部署成功后,可以使用“文本对话”API实现模型调用。NLP推理服务支持使用盘古推理接口(V1推理接口)调用,也支持使用业界通用的OpenAi格式接口(V2推理接口)调用。V1接口、V2接口的鉴权方式不同,请求体和返回体略有差异。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 - [统计NLP大模型调用信息](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0182.md): 针对调用的大模型,平台提供了统一的管理功能。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间单击左侧导航栏“调用统计”,选择“NLP”页签。选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息 - [使用数据工程构建科学计算大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0183.md): 盘古科学计算大模型仅支持接入气象类数据集,该数据集格式要求请参见气象类数据集格式要求。构建科学计算大模型进行训练的数据要求见表1。在ModelArts Studio大模型开发平台中,使用数据工程创建盘古科学计算大模型数据集流程见表2。 - [科学计算大模型训练流程与选择建议](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0186.md): 科学计算大模型的训练主要分为两个阶段:预训练与微调。预训练阶段:预训练是模型学习基础知识的过程,基于大规模通用数据集进行。例如,在区域天气要素预测中,可以重新定义表面变量、高空变量,调整高空层、时间分辨率、水平分辨率以及区域范围,以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。微调阶段:在预训练模型的基础上,微调利用特定领域 - [创建科学计算大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0187.md): 创建科学计算大模型中期天气要素预测微调任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。在“创建训练任务”页面,参考表1完成训练参数设置。其中,“数据配置”展示了各训练数据涉及到的全部参数,请根据具体前端 - [查看科学计算大模型训练状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0188.md): 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。在模型训练列表中查看训练任务的状态,各状态说明详见表1。对于已完成训练,训练状态是“训练完成”状态的任务,单击任务名称,可在“训练结果”页面查看训练指标,不同模型的训练指标介绍请参见图1。训练任务会依据配置的训练轮数(e - [发布训练后的科学计算大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0189.md): 科学计算大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“去发布”。训练结果页面填写资产名称、描述,选择对应的可见性,单击“确定”发布模 - [管理科学计算大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0190.md): 在训练任务列表中,任务创建者可以对创建好的任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio大模型开发平台,进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,进入模型训练页面,可进行如下操作:编辑。单击操作列的“编辑”,可以修改模型的训练参数、训练数据以及基本信息等。克 - [科学计算大模型训练常见报错与解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0191.md): 科学计算大模型训练常见报错及解决方案请详见表1。排查训练/验证集数据时间是否在训练选择的时间范围内,将时间格式转换为UTC时间进行排查,既为页面对应的时间格式。排查训练选择的训练特征参数在训练/验证集数据中是否存在。如时间范围内有时间为2024010100的数据,页面选择的特征为高空层次类型sigma,层次1.0, 0.99463,高空特 - [创建科学计算大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0193.md): 平台支持部署训练后的模型或预置模型,操作步骤如下:登录ModelArts Studio大模型开发平台,进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“创建部署”页面,参考表1完成部署参数设置。科学计算大模型部署参数说明参数分类部署参数参数说明部署配置选择模型可以修改如下信息:来源:选择“模型广场 - [查看科学计算大模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0194.md): 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建科学计算大模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐 - [管理科学计算大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0195.md): 完成创建科学计算大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。单击右上角“模型更新”,进入“模型更新”页面。在“可修改配置 > 选择模型”中,可选 - [使用“体验中心”调用科学计算大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0197.md): 体验中心功能支持用户调用预置或训练后的科学计算大模型。使用该功能前,请完成模型的部署操作,步骤详见创建科学计算大模型部署任务。使用“体验中心”调用科学计算大模型可实现包括全球中期天气要素预测、全球中期降水预测、新能源风预测、新能源光预测、区域中期天气要素预测、区域中期降水预测场景的预测能力。登录ModelArts Studio大模型开发平 - [使用API调用科学计算大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0198.md): 预置模型或训练后的模型部署成功后,可以使用API调用科学计算大模型。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间获取调用路径。在左侧导航栏中选择“模型开发 > 模型部署”。获取已部署模型的调用路径。在“我的服务”页签,单击状态为“运行中”的模型名称,在“详情”页签,可获取模型调用路径, - [使用“体验中心”调用CV大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0200.md): 体验中心功能支持用户调用预置或训练后的CV大模型。使用该功能前,请完成模型的部署操作,步骤详见创建CV大模型训练任务。使用“体验中心”调用CV大模型可实现确认感兴趣的目标所在的位置和类别。具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“体验中心”,单击“视 - [加工气象类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0206.md): 加工气象类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。创建气象类数据集加工任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。在“创建加工任务”页面,选择需要加工 - [合成文本类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0221.md): 数据合成是指依托大模型能力,结合预置或自定义指令,对已导入的原始数据集(如文本类单轮问答数据集)进行加工处理,生成符合特定需求的新数据的过程。其核心是通过指令编排(如生成问答对、改写问题 / 回答、生成人设等操作),实现数据的扩展、优化或格式转换,最终可生成加工数据集,且支持将原始数据集与合成数据整合,以满足模型训练、应用开发等下游需求。 - [标注文本类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0222.md): 标注文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。数据标注功能支持创建标注任务、标注数据集(标注作业)、审核标注后的数据集(审核作业)与管理标注任务(任务管理)。其中,不同角色权限支持的功能及展示的前端界面略有差异,详见表1。创建文本类数据集标注任务步骤如下:登录ModelArts Studio大模型开发平台 - [标注图片类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0223.md): 标注图片类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。数据标注功能支持创建标注任务、标注数据集(标注作业)、审核标注后的数据集(审核作业)与管理标注任务(任务管理)。其中,不同角色权限支持的功能及展示的前端界面略有差异,详见表1。创建图片类数据集标注任务步骤如下:登录ModelArts Studio大模型开发平台 - [标注视频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0224.md): 标注视频类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。数据标注功能支持创建标注任务、标注数据集(标注作业)、审核标注后的数据集(审核作业)与管理标注任务(任务管理)。其中,不同角色权限支持的功能及展示的前端界面略有差异,详见表1。创建视频类数据集标注任务步骤如下:登录ModelArts Studio大模型开发平台 - [管理加工后的数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0225.md): 完成数据加工、数据合成、数据标注或数据配比任务的数据集,在对应任务列表执行“生成”操作,将生成“加工数据集”被平台统一管理,并用于后续的发布任务。平台支持对加工数据集查看基本信息、数据血缘等管理操作,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 - [评估文本类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0226.md): 发布文本类数据集前,ModelArts Studio大模型开发平台支持对数据集进行评估操作,帮助用户优化数据质量,确保数据满足高标准,提升模型性能。如果无需使用数据评估操作,可跳过此章节至发布文本类数据集。ModelArts Studio大模型开发平台针对文本类数据集预设了一套基础评估标准,涵盖了数据准确性、完整性、一致性、格式规范等多个 - [配比文本类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0227.md): AI 模型训练依赖高质量数据,但实际场景中常面临数据分布不均、与任务需求不匹配等问题,直接影响模型性能与泛化性。若直接使用原始数据,易出现 “少数类样本识别失效”(如医疗 AI 漏诊阳性病例)、“模型仅适配训练场景”(如推荐系统在新用户群体中推荐不准)等问题。针对如上问题,可以通过数据配比操作,将多个数据集按照特定比例关系组合并发布为“发 - [发布文本类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0228.md): 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。文本类数据集支持发布的格式为:标准格式:数据工程功能支持的原始格式。标准格式的示例如下,其中,context和target是键值对。{"context": "你好,请介绍自己", "target": "我是盘古大模型"}标准格式的示例如下,其中,context - [评估图片类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0229.md): 发布图片类数据集前,ModelArts Studio大模型开发平台支持对数据集进行评估操作,帮助用户优化数据质量,确保数据满足高标准,提升模型性能。如果无需使用数据评估操作,可跳过此章节至发布图片类数据集。ModelArts Studio大模型开发平台针对图片类数据集预设了一套基础评估标准,涵盖了图像清晰度、分辨率、标签准确性、图像一致性 - [配比图片类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0230.md): 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。如果单个数据集已满足您的需求,可跳过此章节至发布图片类数据集。创建图片类数据集配比任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加 - [发布图片类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0231.md): 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。图片类数据集支持发布的格式为:标准格式:如图1,平台默认的格式。该格式的数据集不能应用于盘古大模型的模型开发中,但可以发布为资产。图片类数据集标准格式示例盘古格式:如图2,训练盘古大模型时,需要发布为该格式,可以用于盘古大模型的模型开发。当前仅文本类、图片类数 - [评估视频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0232.md): 发布视频类数据集前,ModelArts Studio大模型开发平台支持对数据集进行评估操作,帮助用户优化数据质量,确保数据满足高标准,提升模型性能。如果无需使用数据评估操作,可跳过此章节至发布视频类数据集。ModelArts Studio大模型开发平台针对视频类数据集预设了一套基础评估标准,涵盖了视频的清晰度、帧率、完整性、标签准确性等多 - [发布视频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0233.md): 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。视频类数据集当前仅支持发布为“标准格式”。创建视频类数据集发布任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任 - [管理发布后的数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0234.md): 完成数据配比、或数据流通任务的数据集,在对应任务列表执行“生成”操作,将生成“发布数据集”被平台统一管理,并用于后续的发布任务。平台支持对发布数据集查看基本信息、数据血缘等管理操作,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据管理 > - [创建NLP大模型评测数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0236.md): 效果优秀的模型需要保证模型拥有良好的泛化能力,即模型不仅要在已给定的数据(训练数据)上表现良好,还要能够在未见过的数据上也达到类似的效果。为了实现这一目标,模型评测是必不可少的环节。在收集评估数据集时,必须保持数据集的独立性和随机性,确保收集到的数据能够代表现实世界的样本数据。这有助于避免对评估结果产生偏见,从而更准确地反映模型在不同场景 - [创建NLP大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0237.md): 创建NLP大模型评测任务前,请确保已完成创建NLP大模型评测数据集操作。预训练的NLP大模型不支持评测。创建NLP大模型自动评测任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,单击界面右上角“创建自动评测任务”。在“创建自动评测任 - [查看NLP大模型评测报告](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0238.md): 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”。单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。其中,各评测指标说明详见NLP大模型评测指标说明。其 - [管理NLP大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0239.md): 在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,可进行如下操作:克隆。单击操作列的“克隆”,可以复制当前状态为“已完成”评测任务。启动。单击操作列的 - [使用数据工程构建CV大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0241.md): 盘古CV大模型支持接入图片类、视频类、其他类数据集,不同模型所需数据见表1,数据集格式要求请参见图片类数据集格式要求、视频类数据集格式要求、其他类数据集格式要求。各CV算法对数据集要求最低为100,不满100的数据集在训练参数选择界面会有报错提示。用户导入CV开源评测数据集步骤与大语言模型评测集流程基本相同,参见5.5.1,“模型类型”选 - [CV大模型训练流程与选择建议](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0243.md): 目前,CV大模型支持预训练和微调。预训练阶段:通过在大规模通用数据集上训练,使模型学习到通用视觉特征,使得模型在面对不同类型的图像数据时,能够快速捕捉到关键信息,提升了模型的训练效率和泛化能力。微调阶段:微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。在微调过程中,通过设定训练指标来监控模型的表现,确保其 - [创建CV大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0244.md): 创建CV大模型预训练任务步骤如下:登录ModelArts Studio大模型开发平台首页,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。在“创建训练任务”页面,参考表1完成训练参数设置。CV大模型预训练参数说明参数分类训练参数说明训练配置选择模型可以修改如下信息:来 - [查看CV大模型训练状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0245.md): 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。在模型训练列表中查看训练任务的状态,各状态说明详见表1。对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见图1。单击训练任务名称,可以在“日志”页面查看训练过程中产生 - [发布训练后的CV大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0246.md): CV大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“去发布”。训练结果页面模型产物也可在产物列表发布,按需计费用户一次只能发布一个产物 - [管理CV大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0247.md): 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:克隆。单击操作列的“更多 > 克隆”,参照创建CV大模型训练任务填写参数 - [CV大模型训练常见报错与解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0248.md): CV大模型训练常见报错及解决方案请详见表1。 - [创建CV大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0250.md): 平台支持部署训练后的模型或预置模型,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“创建部署”页面,参考表1完成部署参数设置。CV大模型部署参数说明参数分类部署参数参数说明部署配置选择模型可以修改如 - [查看CV大模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0251.md): 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建CV大模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等 - [管理CV大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0252.md): 用户导入CV开源评测数据集步骤与大语言模型评测集流程基本相同,参见创建NLP大模型评测数据集,“模型类型”选择“CV大模型”即可。完成创建CV大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模 - [使用数据工程构建预测大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0254.md): 盘古预测大模型仅支持接入预测类数据集,不同模型所需数据见表1,该数据集格式要求请参见预测类数据集格式要求。在控制台选择“数据工程 > 数据获取 > 导入任务”,选择预测数据类型,导入对应数据,如图1训练预测大模型时,所需的数据通常为表格格式,即由行和列组成的扁平化数据。具体要求如下:行:每行代表一个样本。每行与其他行具有相同的列,并且顺序 - [预测大模型训练流程与选择建议](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0256.md): 目前,预测大模型支持微调训练、预训练。微调阶段:微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估并进行最终优化,以确保满足业务需求,然后将其部署和调用,用于实际应用。针对部分预测大模型类型,开放增量微调, - [创建预测大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0257.md): 目前时序异常检测大模型支持预训练工作流,创建预测大模型预训练任务步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。在“创建训练任务”页面,参考表1完成训练参数设置。其中,“训练参数”展示了各场景涉及到的全部参数,请根据具体前端 - [查看预测大模型训练状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0258.md): 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。在模型训练列表中查看训练任务的状态,各状态说明详见表1。对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见表2。单击训练任务名称,可以在“日志”页面查看训练过程中产生 - [发布训练后的预测大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0259.md): 预测大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“去发布”。训练结果页面填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 - [管理预测大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0260.md): 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:克隆。单击操作列的“克隆”,参照创建预测大模型训练任务填写参数,可以复制 - [创建预测大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0263.md): 平台支持部署训练后的模型或预置模型,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“创建部署”页面,参考表1完成部署参数设置。预测大模型部署参数说明参数分类部署参数参数说明部署配置选择模型可以修改如 - [查看预测大模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0264.md): 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建预测大模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等 - [管理预测大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0265.md): 完成创建预测大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。单击右上角“模型更新”,进入“模型更新”页面。在“可修改配置 > 选择模型”中,可选择模 - [查看Pangu-SearchPlan-ZH_EN模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0269.md): 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建Pangu-SearchPlan-ZH_EN模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功 - [管理Pangu-SearchPlan-ZH_EN模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0270.md): 完成创建Pangu-SearchPlan-ZH_EN模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。单击右上角“模型更新”,进入“模型更新”页面。在“ - [使用数据工程构建图像问答大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0272.md): 盘古多模态大模型支持接入多模态类数据集,不同场景所需数据见表2,数据集格式要求请参见多模态类数据集格式要求。使用数据工程构建盘古多模态大模型数据集进行模型训练时,所需数据量见表3。多模态训练数据为tar+jsonl构成的训练文件,单个tar包大小不超过500MB,文件总大小不超过100GB。评测多模态大模型需要使用图片+QA对格式的数据, - [使用“体验中心”调用多模态大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0277.md): “体验中心”功能支持用户直接调用订购的预置模型,或经过训练的模型。在体验模型功能前请先完成创建多模态大模型部署任务操作。多模态大模型支持图像问答能力,在选择好订购的模型后,上传需要分析的图片,并在输入框中输入问题,模型就会基于图片内容回答问题。 - [加工其他类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0292.md): 加工其他类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。创建其他类数据集加工任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。在“创建加工任务”页面,选择需要加工 - [图像问答大模型训练流程与选择建议](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0293.md): 多模态大模型的训练分为两个关键阶段:预训练和微调。预训练阶段:在这一阶段,模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础,如阅读理解、文本生成和情感分析,但它还未能针对特定任务进行优化。预训练阶段完成之后,还可以继续进行训练,这一过程称为增量预训练。增量预训练是在已经完成的预训练的基础上 - [创建图像问答大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0294.md): 创建多模态大模型预训练任务步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。在“创建训练任务”页面,参考表1完成训练参数设置。多模态大模型预训练参数说明参数分类训练参数参数说明训练配置选择模型可以修改如下信息:来源:选 - [查看图像问答大模型训练状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0295.md): 模型启动训练后,模型的训练任务状态请在“模型训练”页面进行查看。单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。在模型训练列表中查看训练任务的状态,各状态说明详见表1。对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见表2。单击训练任务名称,可以在“日志”页面查看训练过 - [发布训练后的多模态大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0296.md): 多模态大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“去发布”。发布模型填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。发布后的模型 - [管理多模态大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0297.md): 在训练任务列表中,任务创建者可以对任务进行克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:克隆。单击操作列的“克隆”,参照创建图像问答大模型训练任务填写参数,可以复制当前训练任务。停止 - [多模态大模型训练常见报错与解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0298.md): 多模态大模型训练常见报错及解决方案请详见表1。 - [创建多模态大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0299.md): 平台支持部署训练后的模型或预置模型,操作步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“创建部署”页面,参考表1完成部署参数设置,启动模型部署。多模态大模型部署参数说明参数分类部署参数参数说明部署配置选择模型可以 - [查看多模态大模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0300.md): 部署任务创建成功后,可以查看大模型部署任务详情,具体步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建多模态大模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等待。当状态 - [管理多模态大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0301.md): 部署任务创建后,如果需要修改模型部署信息,可以在详情页面单击右上角“模型更新”或者“修改部署”进行修改。更新模型时可以替换模型、修改环境变量。修改部署时,模型无法进行替换。模型更新、修改部署后进行升级操作时,可以选择全量升级、滚动升级两种方式。全量升级:旧版本和新版本的服务会同时运行,直到新版本完全替代旧版本。在新版本部署完成前旧版本仍然 - [创建多模态大模型评测数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0302.md): 多模态大模型支持人工评测和基于大模型的评测,人工评测方式需要通过人工创建的评测数据集和评测指标项对模型生成的回答进行评测,评测时需要人工基于创建好的评测项对模型回答进行打分,评测完成后会基于打分结果生成评测报告。创建多模态大模型的评测任务,需要用户在自己的obs桶中准备好数据。数据格式为图片存放目录+jsonl文件,目录结构如下:其中js - [创建多模态大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0303.md): 创建多模态大模型评测任务前,请确保已完成创建多模态大模型评测数据集操作。预训练的多模态大模型不支持评测。创建多模态大模型人工评测任务步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,单击界面右上角“创建人工评测任务”。在“创建人工评测任务”页面, - [查看多模态大模型评测报告](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0304.md): 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”。单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。其中,各评测指标说明详见多模态大模型评测指标说明。其中,各评测 - [管理多模态大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0305.md): 用户导入多模态开源评测数据集步骤与大语言模型评测集流程基本相同,参见创建NLP大模型评测数据集,“模型类型”选择“多模态大模型”即可。在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏 - [使用API调用多模态大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0306.md): API请求地址由API接口域名+API访问路径(URI)拼接形成。模型在部署成功后,可以通过API调用多模态大模型。API接口域名格式为https://ip:port,获取方式参考《API参考》文档“获取大模型推理API接口域名”章节。API访问路径(URI)中的deployment_id、project_id获取方式如下。使用最终租户登 - [创建边缘资源池](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0313.md): 边缘部署是指将模型部署到用户的边缘设备上,这些设备通常是用户自行采购的服务器,通过ModelArts服务纳管为边缘资源池,然后利用盘古大模型服务将模型部署到这些边缘资源池中。ModelArts边缘节点是ModelArts平台提供的用于部署边缘服务的终端设备。创建边缘资源池之前需先创建ModelArts边缘节点。节点创建完成后,同步下载证书 - [创建CV大模型评测数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0315.md): 效果优秀的模型需要保证模型拥有良好的泛化能力,即模型不仅要在已给定的数据(训练数据)上表现良好,还要能够在未见过的数据上也达到类似的效果。为了实现这一目标,模型评测是必不可少的环节。在收集评估数据集时,必须保持数据集的独立性和随机性,确保收集到的数据能够代表现实世界的样本数据。这有助于避免对评估结果产生偏见,从而更准确地反映模型在不同情景 - [创建CV大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0316.md): 创建CV大模型评测任务前,请确保已完成创建CV大模型评测数据集操作。创建CV大模型自动评测任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,单击界面右上角“创建自动评测任务”。在“创建自动评测任务”页面,参考表1完成部署参数设置。C - [查看CV大模型评测报告](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0317.md): 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”。单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的报告和详情。其中,各评测指标说明详见CV大模型评测指标说明。其中,各评测 - [管理CV大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0318.md): 在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测中心 > 评测任务”,可进行如下操作:克隆。单击操作列的“克隆”,可以复制当前状态为“已完成”评测任务。启动。单击操作列的 - [创建预测大模型评测数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0320.md): 效果优秀的模型需要保证模型拥有良好的泛化能力,即模型不仅要在已给定的数据(训练数据)上表现良好,还要能够在未见过的数据上也达到类似的效果。为了实现这一目标,模型评测是必不可少的环节。在收集评估数据集时,必须保持数据集的独立性和随机性,确保收集到的数据能够代表现实世界的样本数据。这有助于避免对评估结果产生偏见,从而更准确地反映模型在不同情景 - [创建预测大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0321.md): 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,单击界面右上角“创建自动评测任务”。在“创建自动评测任务”页面选择“预测大模型”,参考表1完成评测任务参数设置。创建预测大模型评测任务参数说明参数分类参数名称参数说明选择服务评测类型选择“预测大模型”。选择 - [查看预测大模型评测报告](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0322.md): 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”。单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的评测报告及详情。其中,各评测指标说明详见预测大模型评测指标说明。其中,各评测指标说 - [管理预测大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0323.md): 在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,可进行如下操作:克隆。单击操作列的“克隆”,可以复制当前状态为“已完成”评测任务。启动。单击操作列的 - [创建API服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0324.md): API管理模块可以对评测服务的API进行管理,在创建评测任务的时候选择评测服务即可。可以对API进行创建、编辑、删除。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > API管理”,单击界面右上角“创建API”。定义API名称、模型系列,并选择模型类型和API描述(可 - [使用数据工程构建Deepseek大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0326.md): 在ModelArts Studio平台中,使用数据工程构建三方大模型数据集流程见表1。 - [创建Deepseek大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0328.md): 创建Deepseek大模型预训练任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。在“创建训练任务”页面,参考表1完成训练参数设置。Deepseek大模型预训练参数说明参数分类训练参数参数说明训练配置选择 - [查看Deepseek大模型训练状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0329.md): 模型启动训练后,模型的训练任务状态请在“模型训练”页面进行查看。单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见表2。单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。对于训练异常或失败的任务可以通过训练日志 - [发布训练后的Deepseek大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0330.md): Deepseek大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“发布”。发布模型填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。发布 - [管理Deepseek大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0331.md): 在训练任务列表中,任务创建者可以对任务进行克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:克隆:单击操作列的“克隆”,可以复制当前训练任务。停止。单击操作列的“更多 > 停止”,可以停 - [部署Deepseek大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0333.md): 模型训练完成后,可以启动模型的部署操作。登录ModelArts Studio平台,进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击确定进入创建部署页面。在“创建部署”页面,参考表1完成部署参数设置,启动模型部署。三方大模型部署参数说 - [调用Deepseek大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0334.md): API请求地址由API接口域名+API访问路径(URI)拼接形成。模型部署成功后,可以通过如下接口调用三方模型。API接口域名可以在“模型开发 > 模型部署”页面获取,获取方式如下:登录ModelArts Studio平台,进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称在“详情”页面获取API接口域名。只有处于“ - [在模型广场查看模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0335.md): ModelArts Studio平台模型广场页面提供一站式的模型资源库,为用户提供了多种模型选择,包括盘古系列模型、三方开源模型、行业领域模型等,您可以依据业务需求选择合适的模型执行训练推理任务。模型广场左侧区域是搜索与筛选区,支持客户勾选不同筛选条件,过滤出所需要的模型;并且支持按照关键字搜索模型。右侧区域是模型展示区,以卡片的形式展示 - [音频类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0336.md): ModelArts Studio大模型开发平台支持创建音频类数据集,具体格式要求详见表1 - [音频类加工算子介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0337.md): 平台支持音频类数据集的加工操作,音频类加工算子能力清单见表1。加工音频模态数据时,除了色情语音内容检测算子之外,使用其他算子时,需要在加工流程中加入音频量化编码,将音频量化编码设置为首算子。适用的文件格式:纯音频,60s内采样率16k的wav音频文件。算子说明:给音频添加噪声。各参数说明:噪声类型:添加的噪声类型,混合噪声为高斯噪声与椒盐 - [配比预测类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0339.md): 预测数据配比是将单个数据集中目标列各分类值按照特定比例关系组合并生成“加工数据集”的过程,确保数据的多样性、平衡性和代表性。如果单个数据集已满足您的需求,可跳过此章节至发布预测类数据集。创建预测类数据集配比任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间仅分类数据支持配比,在 - [加工音频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0341.md): 加工音频类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。在“创建加工任务”页面,选择需要加工的音频类数据集,单击“下一步”。进 - [标注音频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0342.md): 标注音频类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。数据标注功能支持创建标注任务、标注数据集(标注作业)、审核标注后的数据集(审核作业)与管理标注任务(任务管理)。其中,不同角色权限支持的功能及展示的前端界面略有差异,详见表1 不同角色支持的数据标注任务权限清单。创建音频类数据集标注任务步骤如下:登录Model - [使用日志查看数据集加工进度](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0343.md): 平台通过记录任务运行日志提供对加工数据集的查看加工进度操作,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”。单击任务ID查看加工任务详情页的日志管理页签下的运行日志页签。在“运行日志”页签可实时查看数据集加工的进度。 - [管理加工任务资源](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0344.md): 与MRS相关的加工任务、发布任务在创建时,可以进行任务资源的参数配置,具体的参数可见表1 任务资源参数清单。 - [加工任务生成数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0345.md): 加工任务详情页面增加生成数据集相关提示。当加工任务执行结束且没有生成数据集时,页面提供生成数据集按钮。生成数据集按钮当任务无生成数据集且处理生成数据集中状态时,提供刷新按钮。刷新按钮当加工任务最新一次执行任务成功,且没有生成最新数据集时,页面提示:任务数据已经刷新,如果要保存最新结果,请单击生成加工数据集。任务数据已经刷新,如果要保存最新 - [发布音频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0346.md): 数据发布是将数据集发布为特定格式的“发布数据集”的过程,用于后续模型训练等操作。音频类数据集当前仅支持发布为“标准格式”。创建音频类数据集发布任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任 - [使用限制](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0348.md): 自定义数据集结构:支持图片后缀(jpg、jpeg、png、bmp、tif、tiff)假设自定义数据集文件名称为:test_自定义数据集+---test_自定义数据集| +--- 图片001 # python算子目录| +--- 图片002 # python算子目录| +--- 图片003 # python算子目录| +--- CSV文件仅 - [格式转换操作流程](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0351.md): 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据获取 > 导入任务”,单击右上角“创建导入任务”。在“创建导入任务”页面选择其他--自定义 ,导入需要转换数据集,如图2所示。数据导入返回导航栏,选择数据工程 > 数据加工 > 加工任务 > 管理加工算子 > 创建 - [转换算子说明](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0352.md): 转换算子构建包括:①YML配置文件 ②实现功能的python脚本TAR包①YML文件示例:②TAR包:假设算子包名称为operator-package.tar,算子包解压后目录结构:+---operator-package| +--- program_package # python算子目录| | +---dependency| | | - [NLP大模型默认prompt](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0353.md): NLP大模型针对不同的模型、不同模型的版本预置了默认的prompt,具体见表1。 - [使用API调用CV大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0355.md): 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击“模型名称”在“详情”页面获取API请求地址。只有处于“运行中”状态的模型才可以正常调用。云上部署:云上部署获取CV大模型API请求地址边缘部署:如果详情页面API URL展示的是完全的http请求路径 - [统计CV大模型调用信息](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0356.md): 模型推理接口除了使用Token认证鉴权进行调用外,也支持使用API Key鉴权进行调用。对于API Key鉴权产生的调用信息,可以使用平台的“调用统计”功能对调用量信息、时延信息进行统计。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间单击左侧导航栏“调用统计”。选择当前调用的CV大模型,可以按照不 - [使用API调用预测大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0358.md): 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击“模型名称”在“详情”页面获取API请求地址。只有处于“运行中”状态的模型才可以正常调用。预测大模型支持云上部署及边缘部署,以下内容将分别介绍两种部署方式如何获取API请求地址。云上部署在模型部署工作区 - [统计预测大模型调用信息](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0359.md): 模型推理接口除了使用Token认证鉴权进行调用外,也支持使用API Key鉴权进行调用。对于API Key鉴权产生的调用信息,可以使用平台的“调用统计”功能对调用量信息、时延信息进行统计。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间单击左侧导航栏“调用统计”。选择当前调用的预测大模型,可以按照不 - [搜索规划模型介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0360.md): Pangu-SearchPlan模型,用于RAG场景,提供通用意图分类/多轮查询改写/复杂查询分解/时间抽取等功能,在RAG任务中生产用于检索的query,以及根据query分类路由到后续不同的流程。 - [调用搜索规划大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0361.md): 搜索规划属于预置模型,模型部署成功后,可以使用API实现模型调用。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间URI获取步骤如下:登录ModelArts Studio大模型开发平台。进入所需工作空间。获取请求URI。获取模型请求URI。若调用部署后的模型,可在左侧导航栏中选择“模型开发 - [创建Pangu-SearchPlan-ZH_EN模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0362.md): 平台支持部署预置的Pangu-SearchPlan-ZH_EN大模型,操作步骤如下:登录ModelArts Studio大模型开发平台,进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“创建部署”页面,参考表1 Pangu-SearchPlan-ZH_EN模型部署参数说明完成部署参数设置。Pang - [向量&重排模型介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0363.md): Pangu-EmbeddingRank模型,用于大模型RAG场景。在ModelArts Studio大模型开发平台部署Pangu-EmbeddingRank模型,会生成Embedding模型服务、Rerank模型服务两个服务。这两个服务均可以在Agent开发平台中创建知识库中被使用。其中Embedding模型服务在创建知识库中,文本处理阶 - [创建Pangu-EmbeddingRank-zh模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0365.md): 平台支持部署预置的Pangu-EmbeddingRank-zh大模型,操作步骤如下:登录ModelArts Studio大模型开发平台,进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“创建部署”页面,参考表1完成部署参数设置。Pangu-EmbeddingRank-zh模型部署参数说明参数分类部 - [查看Pangu-EmbeddingRank-zh模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0366.md): 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建Pangu-EmbeddingRank-zh模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功 - [管理Pangu-EmbeddingRank-zh模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0367.md): 完成创建Pangu-EmbeddingRank-zh模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。单击右上角“模型更新”,进入“模型更新”页面。在“ - [调用向量&重排大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0368.md): 向量&重排属于预置模型,模型部署成功后,可以使用API实现模型调用。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间URI获取步骤如下:登录ModelArts Studio大模型开发平台。进入所需工作空间。获取请求URI。获取模型请求URI。若调用部署后的模型,可在左侧导航栏中选择“模型开 - [盘古行业NLP大模型介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0371.md): 盘古行业大模型在盘古NLP大模型的基础之上结合了垂直行业的海量数据,配套MA Studio平台和工具链,可化解特定行业数据构建难、模型效果调优难、场景能力评测难三大难题,助力行业客户更快、更优构建专业大模型。当前已于公有云发布金融、医疗行业大模型,满足行业通用场景开箱即用。 - [使用数据工程构建盘古行业NLP大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0372.md): 盘古NLP大模型仅支持接入文本类数据集,数据集文件内容包括:预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等,不同训练方式所需要使用的数据见表1,该数据集格式要求请参见文本类数据集格式要求。使用数据工程构建盘古NLP大模型数据集进行模型训练时,所需数据量见表2。要求所有文本大小最大不超过100MB,目录下文件数量最多不超过 - [创建盘古行业NLP大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0374.md): 创建NLP大模型预训练任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击确定进入创建训练任务页面。在“创建训练任务”页面,参考表1完成训 - [查看盘古行业NLP大模型训练任务状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0375.md): 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。在模型训练列表中查看训练任务的状态,各状态说明详见表 训练状态说明。对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见表2 训练指标说明。单击训练任务名称,可以在“日 - [发布训练后的盘古行业NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0376.md): 发布训练后的盘古行业NLP大模型盘古行业NLP大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“去发布”。训练结果页面模型产物也可在产物 - [管理盘古行业NLP大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0377.md): 在训练任务列表中,任务创建者可以对任务进行编辑、克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训 - [压缩盘古行业NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0378.md): 在大模型部署过程中,通常会遇到模型体积大、推理资源消耗高的问题,这不仅增加了部署成本,还可能影响模型的推理速度和性能。为了应对这一挑战,可以通过模型压缩技术来降低模型的推理显存占用,从而节省推理资源并提高推理性能。仅支持对NLP大模型进行压缩。“模型广场”预置NLP模型不支持压缩。支持对“模型广场”的NLP模型做二次训练后的模型做压缩操作 - [部署盘古行业NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0379.md): 平台支持部署训练后的模型或预置模型,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击确定进入创建部署页面。在“创建部署”页面,参考表1 - [使用“体验中心”调用盘古行业NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0381.md): 体验中心功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见云上部署。使用“体验中心”调用盘古行业NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航 - [使用API调用盘古行业NLP大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0382.md): 预置模型或训练后的模型部署成功后,可以使用API实现模型调用。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间获取调用路径。在左侧导航栏中选择“模型开发 > 模型部署”。获取已部署模型的调用路径。在“API调用”页签,可获取模型调用路径,如图2。获取已部署模型的调用路径在左侧导航栏中选择“ - [Deepseek大模型介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0383.md): 平台预置了DeepSeek-R1-32K及DeepSeek-V3-32K模型。DeepSeek-R1满血版671B参数模型,在数学、代码、自然语言处理能力比肩OpenAI o1正式版。DeepSeek-R1-32K-0.0.1版本支持预训练、全量微调、LoRA微调、QLoRA微调特性、推理部署。平台已预置推理服务,用户可通过体验中心或者A - [创建Deepseek大模型评测数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0385.md): 效果优秀的模型需要保证模型拥有良好的泛化能力,即模型不仅要在已给定的数据(训练数据)上表现良好,还要能够在未见过的数据上也达到类似的效果。为了实现这一目标,模型评测是必不可少的环节。在收集评估数据集时,必须保持数据集的独立性和随机性,确保收集到的数据能够代表现实世界的样本数据。这有助于避免对评估结果产生偏见,从而更准确地反映模型在不同情景 - [创建API服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0386.md): API管理模块可以对评测服务的API进行管理,在创建评测任务的时候选择评测服务即可。可以对API进行创建、编辑、删除。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > API管理”,单击界面右上角“创建API”。定义API名称、模型系列,并选择模型类型和API描述(可 - [创建Deepseek大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0387.md): 创建DeepSeek大模型评测任务前,请确保已完成创建Deepseek大模型评测数据集操作。创建DeepSeek大模型自动评测任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,单击界面右上角“创建自动评测任务”。在“创建自动评测任务 - [查看Deepseek大模型评测报告](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0388.md): 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型评测 > 任务管理”。单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。其中,各评测指标说明详见Deepse - [管理Deepseek大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0389.md): 在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,可进行如下操作:克隆。单击操作列的“克隆”,可以复制当前状态为“已完成”评测任务。启动。单击操作列的 - [视频生成大模型介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0391.md): 视频生成大模型是盘古多模态大模型提供的能力,能够根据文本、图像或视频输入生成高质量的视频内容。主要分为以下三类:文生视频:通过自然语言描述生成符合语义的视频内容;图生视频:以静态图像为基础,结合自然语言描述生成动态视频;视频续写:基于已有视频片段,结合自然语言描述生成后续内容。 - [使用数据工程构建视频生成大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0392.md): 盘古视频生成大模型支持接入视频类数据集,不同场景所需数据见表1 训练视频生成大模型数据集类型要求,数据集格式要求请参见视频类数据集格式要求。 - [创建视频生成大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0394.md): 创建视频生成大模型预训练任务步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。在“创建训练任务”页面,参考表1 视频生成大模型预训练参数说明完成训练参数设置。视频生成大模型预训练参数说明参数分类训练参数参数说明训练 - [查看视频生成大模型训练状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0395.md): 对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见图1。单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每 - [发布训练后的视频生成大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0396.md): 视频生成大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“去发布”。发布模型模型产物也可在产物列表发布,按需计费用户一次只能发布一个产物,包周期和 - [管理视频生成大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0397.md): 在训练任务列表中,任务创建者可以对任务进行克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:编辑。单击操作列的“编辑”,可以修改模型的训练参数、训练数据以及基本信息等。克隆。单击操作列的 - [创建视频生成大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0399.md): 平台支持部署预置模型,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选择“模型广场 > 多模态大模型 > 模型”,单击确定进入创建部署页面。在“创建部署”页面,参考表1完成部署参数 - [查看视频生成大模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0400.md): 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建视频生成大模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐 - [使用“体验中心”调用模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0402.md): 体验中心功能支持用户调用预置的视频生成大模型。使用该功能前,请完成模型的部署操作,步骤详见部署视频生成大模型。使用“体验中心”调用视频生成大模型可实现文生视频、图生视频、视频续写能力,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“体验中心 > AIGC” - [使用API调用模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0403.md): 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击“模型名称”在“详情”页面获取API请求地址。只有处于“运行中”状态的模型才可以正常调用。云上部署:云上部署获取预测大模型API请求地址只有处于“运行中”状态的模型才可以正常调用。云上部署:获取API接 - [图像搜索模型介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0405.md): 基于服装图片数据标注的服装类型、款式信息、工艺类别标签进行训练。目前支持的服装类型包括:男西服、女西服、男大衣、女大衣、男夹克、女夹克、男礼服、女礼服、男风衣、女风衣、T恤、男POLO衫、男猎装、女猎装、女马甲、男马甲、女西裙、女卫裤、男卫裤、女西裤、男西裤、女衬衣、男衬衣。 - [使用数据工程构建图像搜索模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0406.md): 图像搜索模型支持接入图片类数据集,目前使用异常检测图片数据集接口导入,数据格式为图片+txt格式,标注内容需要严格按照如下形式标注。一个标注txt文件中每一行为一个标注信息,每行的标注信息格式如下:格式一:图片名称;左上角x坐标;左上角y坐标;右下角x坐标;右下角y坐标;一级标签内容-二级标签内容-三级标签内容@示例一:示例.jpg;21 - [创建图像搜索模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0409.md): 当前图像搜索模型支持预训练,适用于图像标签类训练任务。创建图像搜索模型预训练步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”(详见工作空间介绍)分页,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。在“选择模型”页面,选择“模型广场 > 图像搜索 > 模型”,单击确定 - [查看图像搜索模型训练状态与指标](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0410.md): 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。在模型训练列表中查看训练任务的状态,各状态说明详见表1。对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见图1和表2 训练指标说明。单击训练任务名称,可以在“日志”页 - [发布训练后的图像搜索模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0411.md): 模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”(详见工作空间介绍)分页,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“去发布”。训练结果页面填写资产名称、描述,选择对应的可见性,单击“确定”发布 - [管理图像搜索模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0412.md): 在训练任务列表中,任务创建者可以对任务进行编辑、启动、克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”(详见工作空间介绍)分页,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:克隆。单击操作列的“更多 > 克隆”,参照填写参数,可以复制 - [创建图像搜索模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0414.md): 平台支持部署训练后的模型,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”(详见工作空间介绍)分页,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选择“我的资产 > 图像搜索模型 > 模型”,单击确定进入创建部署页面。在“创建部署”页面,参考 - [查看图像搜索模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0415.md): 部署任务创建成功后,可以查看大模型部署的任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”(详见工作空间介绍)分页,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,完成创建图像搜索模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长 - [管理图像搜索模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0416.md): 完成创建图像搜索模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下登录ModelArts Studio大模型开发平台,在“我的空间”(详见工作空间介绍)分页,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。单击右上角“修改部署”,进入“修改部署”页面。在“可 - [使用API调用图像搜索模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0418.md): 登录ModelArts Studio平台,在“我的空间”(详见工作空间介绍)分页,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击“模型名称”在“详情”页面获取API请求地址。只有处于“运行中”状态的模型才可以正常调用。云上部署获取图像搜索模型API请求地址只有处于“运行中”状态的模型才可以正常调用。获取API接口域名 - [预测类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0490.md): 平台支持创建预测类数据集,您可以参考预测数据集构建规范,确保创建可用的预测类数据集。当前平台支持时序分类数据、时序回归数据、结构化分类数据、结构化回归数据四类预测数据集和其他(自定义)数据集。五类数据集说明如下:时序分类数据:时序分类数据是一种按时间顺序排列的数据序列,用于预测未来事件或趋势,过去的数据会影响未来的预测,目标值是离散值。时 - [气象数据获取指南](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0501.md): 示例一:以下载2021年7月16日高空变量数据为例,下载内容为高空变量(重力位势、u风、v风、比湿、温度,1000、925、850、700、600、500、400、300、250、200、150、100、50hPa高空层次)0点、6点、12点、18点时刻的数据文件,下载步骤示例如下:注册并登录数据下载平台,在高空变量数据下载链接中:Pro - [使用数据工程构建三方大模型数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0503.md): 在ModelArts Studio平台中,使用数据工程构建三方大模型数据集流程见表1。三方大模型支持预训练和微调(SFT/LoRA)训练,数据集可支持alpaca数据格式和sharegpt数据格式,如需自定义数据集,可参照这两种格式进行构建。请在公网环境中下载如下示例数据集。注:sharegpt格式训练数据支持system prompt配 - [模型训练类型说明](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0505.md): 当前 ModelArts Studio 通过预置镜像支持的三方模型训练方式支持情况如下。 - [创建三方大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0506.md): 表格中参数为全部参数 含义说明,并非所有模型均支持所有参数,模型可支持修改的参数已图3 中为准训练日志 - [训练异常定位方法](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0508.md): 在训练任务列表查看任务失败原因。模型启动训练后,可以在模型训练列表中查看训练任务的状态,当任务状态为“失败”时,可将鼠标放置在“失败”上,可以查看到任务失败的概要信息。模型启动训练后,可以在模型训练列表中查看训练任务的状态,当任务状态为“失败”时,可将鼠标放置在“失败”上,可以查看到任务失败的概要信息。在任务详情页查看训练任务运行关键事件 - [管理三方大模型训练任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0510.md): 在训练任务列表中,任务创建者可以对任务进行编辑、克隆(复制训练任务)、重试(重新训练任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,可进行如下操作:编辑。单击操作列的“编辑”,可以修改模型的checkpoints、训练参数、训 - [三方大模型训练常见报错与解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0511.md): NLP大模型训练常见报错及解决方案请详见表1。 - [模型部署形态和部署说明](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0513.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [创建三方大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0514.md): 平台支持部署训练后的模型或预置模型,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击确定进入创建部署页面。在“创建部署”页面,参考表1 - [查看三方大模型部署任务详情](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0515.md): 部署任务创建成功后,可以查看大模型部署任务详情,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,完成创建三方大模型部署任务后,可以查看模型的部署状态。当状态显示为“运行中”时,表示模型已成功部署。此过程可能需要较长时间,请耐心等待 - [管理三方大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0516.md): 完成创建三方大模型部署任务后,可以替换已部署的模型并升级配置,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型部署”,单击模型名称,进入模型详情页面。单击右上角“模型更新”,进入“模型更新”页面。在“可修改配置 > 选择模型”中,可选择模 - [创建三方大模型评测数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0518.md): 效果优秀的模型需要保证模型拥有良好的泛化能力,即模型不仅要在已给定的数据(训练数据)上表现良好,还要能够在未见过的数据上也达到类似的效果。为了实现这一目标,模型评测是必不可少的环节。在收集评估数据集时,必须保持数据集的独立性和随机性,确保收集到的数据能够代表现实世界的样本数据。这有助于避免对评估结果产生偏见,从而更准确地反映模型在不同情景 - [创建API服务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0519.md): API管理模块可以对评测服务的API进行管理,在创建评测任务的时候选择评测服务即可。可以对API进行创建、编辑、删除。登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > API管理”,单击界面右上角“创建API”。定义API名称、组织机构,并选择模型类型,单击“提交”。 - [创建三方大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0520.md): 创建三方大模型评测任务前,请确保已完成创建三方大模型评测数据集操作。创建三方大模型自动评测任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,单击界面右上角“创建自动评测任务”。在“创建自动评测任务”页面,参考表1完成部署参数设置。三 - [查看三方大模型评测报告](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0521.md): 评测任务创建成功后,可以查看大模型评测任务报告,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”。单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。其中,各评测指标说明详见三方大模型评测指标说明。其中 - [管理三方大模型评测任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0522.md): 在评测任务列表中,任务创建者可以对任务进行克隆(复制评测任务)、启动(重启评测任务)和删除操作。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > 评测任务”,可进行如下操作:克隆。单击操作列的“克隆”,可以复制当前状态为“已完成”评测任务。启动。单击操作列的 - [使用“体验中心”调用三方大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0524.md): 体验中心功能支持用户调用预置或训练后的三方大模型。使用该功能前,请完成模型的部署操作,步骤详见创建三方大模型部署任务。使用“体验中心”调用三方大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导 - [使用API调用三方大模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0525.md): 预置模型或训练后的模型部署成功后,可以使用“文本对话”API实现模型调用。三方大模型推理服务支持使用盘古推理接口(V1推理接口)调用,也支持使用业界通用的OpenAi格式接口(V2推理接口)调用。V1接口、V2接口的鉴权方式不同,请求体和返回体略有差异。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空 - [统计三方大模型调用信息](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0526.md): 针对调用的大模型,平台提供了统一的管理功能。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间单击左侧导航栏“调用统计”,选择“NLP”页签。选择当前调用的三方大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 - [设置断点续训](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0528.md): 断点续训练是指因为某些原因(例如容错重启、资源抢占、作业卡死等)导致训练作业还未完成就被中断,下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。断点续训练是通过checkpoint机制实现。checkpoint的机制是:在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器 - [训练日志失败分析](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0529.md): 三方大模型训练常见报错及解决方案请详见表1。 - [多模态类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0530.md): ModelArts Studio大模型开发平台支持创建多模态类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 - [配比视频类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0531.md): 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。如果单个数据集已满足您的需求,可跳过此章节至发布视频类数据集。创建视频类数据集配比任务步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间支持“视频+标注”配比,在左侧导航栏中选 - [加工预测类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0532.md): 加工预测类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。在“创建加工任务”页面,选择需要加工的预测类数据集,单击“下一步”。进 - [NLP大模型推理常见错误及解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0534.md): 推理部署或者推理过程失败可以查看推理的日志进行原因分析,多数场景下的问题可以通过日志报错信息直接定位。如果推理服务部署失败或者在运行过程中异常崩溃,ModelArts Studio会自动识别导致推理服务异常的原因,可首先在服务详情-事件-模型|服务中查看对应的异常报错信息。更详细的日志,可以查看日志页签,并通过搜索过滤“ERROR”或“E - [发布训练后的模型产物](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0536.md): NLP大模型训练完成后,需要执行发布操作,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。单击进入“训练结果”页签,单击“发布”。训练结果页面填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。 - [发布断点中间模型产物](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0537.md): 如果三方模型支持断点续训和Checkpoint模型发布,三方模型进行微调后,单击三方模型训练任务名称,并进入“训练结果”页面,可以看到模型最终产物和中间产物列表,可以选择未发布或发布失败的中间产物或最终产物进行发布。按需计费用户一次只能发布一个产物,包周期和邀测用户最终产物可与中间产物并发发布,单击产物左侧的复选框,可多选,中间产物最多可 - [预测类加工算子介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0538.md): 平台支持预测类数据集的加工操作,预测类加工算子能力清单见表1。适用的文件:格式限制.csv文件,大小限制3GB。算子说明:针对预测数据集里面的CSV文件中存在的异常空缺值,按照指定规则或者自定义值进行填充。针对预测数据集里面的CSV文件中存在的异常空缺值,按照指定规则或者自定义值进行填充。各参数说明:自定义异常值:自定义数值作为异常值,当 - [通用类加工算子介绍](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0539.md): 平台支持通用类数据集的加工操作,算子能力清单见表1 通用类加工算子能力清单适用的文件格式:包含符合条件的标签的文本、音频、图片、视频数据集。算子说明:根据已打标的标签对数据内容进行过滤。参数配置样例:过滤样例:原视频数据集:设置过滤存在logo与水印的视频,经算子处理过后。原视频数据集:设置过滤存在logo与水印的视频,经算子处理过后。 - [管理加工模型](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0555.md): 数据加工中引入大模型的目的在数据加工过程中引入大模型,旨在提升数据处理的智能化水平,增强对数据的语义理解、自动标注与分析能力。通过大模型,可以更高效地完成数据合成、标注与加工任务,提高数据质量与处理效率,降低人工干预成本。数据工程除了支持通过studio部署训练后的模型或预置模型之外(创建NLP大模型部署任务),还支持调用在MAAS-在线 - [发布多模态类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0556.md): 操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”,单击界面右上角“创建发布任务”。在“创建发布任务”页面,选择属性筛选,筛选数据集模态,如“多模态”类型的数据集。选择数据集模态选择数据集,单击“下一步”。在“基本配置” - [授权读写权限](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0557.md): 气象大模型需要将运行结果写入到obs桶,客户在体验中心调用气象大模型时需要默认勾选模型授权。如不授权,会导致结果文件无法写入到obs桶,导致推理失败。需要对结果存储目录,与数据目录所在的OBS桶均进行授权。 - [评测科学计算大模型](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_topic_0000002727451730.md): API管理模块可以对评测服务的API进行管理,在创建评测任务的时候选择评测服务即可。可以对API进行创建、编辑、删除登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。我的空间在左侧导航栏中选择“评测平台 > API管理”,单击界面右上角“创建API”。定义API名称、模型系列,并选择模型类型”科学计算大模型” - [DeepSeek大模型训练异常定位方法](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_topic_0000002757010811.md): 在训练任务列表查看任务失败原因。模型启动训练后,可以在模型训练列表中查看训练任务的状态,当任务状态为“失败”时,可将鼠标放置在“失败”上,可以查看到任务失败的概要信息。模型启动训练后,可以在模型训练列表中查看训练任务的状态,当任务状态为“失败”时,可将鼠标放置在“失败”上,可以查看到任务失败的概要信息。在任务详情页查看训练任务运行关键事件 ## 最佳实践 - [提示词写作常用方法论](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0008.md): 提示工程是一项将知识、技巧和直觉结合的工作,需要通过不断实践实现模型输出效果的提升。提示词和模型之间存在着密切关系,本指南结合了大模型通用的提示工程技巧以及盘古大模型的调优实践经验,总结的一些技巧和方法更为适合基于盘古大模型的提示工程。本文的方法论及技巧部分使用了较为简单的任务作为示例,以便简明易懂地说明这些技巧在提示工程中的应用。随着模 - [设置背景及人设](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0016.md): 背景:模型基于简单prompt的生成可能是多范围的各方向发散的,如果您需要进行范围约束,或加强模型对已有信息的理解,可以进行提示:“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”,或者可以说明已有的信息是什么领域的信息,比如“以上是金融领域的新闻”、“以上是一 - [理解底层任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0017.md): 需要站在模型的角度理解相关任务的真实底层任务,并清晰描述任务要求。例如,在文档问答任务中,任务本质不是生成,而是抽取任务,需要让模型“从文档中抽取出问题的答案,不能是主观的理解或解释,不能修改原文的任何符号、字词和格式”, 如果使用“请阅读上述文档,并生成以下问题答案”,“生成”一词不是很恰当,模型会引入一些外部知识。例如,在构造泛化问题 - [CoT思维链](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0018.md): 对于复杂推理问题(如数学问题或逻辑推理),通过给大模型示例或鼓励大模型解释推理过程,可以引导大模型生成准确率更高的结果。单样本/多样本可以在提示词中提供示例,让模型先学习后回答,在使用这种方法时需要约束新样例不能照抄前面给的参考样例,新样例必须多样化、不能重复等,否则可能会直接嫁接前文样例的内容,也可以约束只是让它学习参考样例的xxx生成 - [考察模型逻辑](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0019.md): 虽然模型的思考过程是个黑盒,但可以通过反问模型答案生成的逻辑或提问模型是否理解任务要求,考察模型生成的逻辑,提升模型思维过程的可解释性。对于模型答案的反问如果模型给出了错误的答案,可以反问模型回答的逻辑,有时可以发现错误回答的根因,并基于此修正提示词。在反问时需要指明“上面的xxx”。例如:“为什么你认为上面的xxx是xxx类别?为什么上 - [应用提示词实现智能客服系统的意图匹配](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0021.md): 应用场景说明:智能客服系统中,大模型将客户问题匹配至语义相同的FAQ问题标题,并返回标题内容,系统根据匹配标题调出该FAQ问答对,来解答客户疑问。 - [应用提示词生成面试题目](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0022.md): 应用场景说明:将面试者的简历信息输入给大模型,基于简历生成面试问题,用于辅助人工面试或实现自动化面试。 - [微调场景介绍](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0066.md): 盘古科学计算大模型的区域海洋要素模型,可以对未来一段时间海洋要素进行预测。可为海上防灾减灾,指导合理开发和保护渔业等方面有着重要作用。目前,区域海洋要素模型支持微调、预训练两种操作:预训练:可以在重新指定深海变量、海表变量、以及深海层深、时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。微 - [构建微调训练任务数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0067.md): 科学计算大模型微调训练所需的数据为气象再分析数据。气象再分析数据集是利用现代数值天气预报模型和数据同化系统,对过去的观测数据进行重新处理后得到的。这些数据集可以是全球范围的,也可以是特定区域的。再分析数据集的目的是通过整合历史观测数据和现代计算技术,提供一个完整、统一且高质量的气象数据记录,用于研究和分析气候及天气变化。再分析数据一般含多 - [构建微调训练任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0068.md): 登录ModelArts Studio平台,进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。在“创建训练任务”页面进行配置。训练配置:按照图1所示进行配置。本案例选择的基础模型为“Pangu-AI4S-Ocean_Regional_24h-3.1.0”。训练配置数据配置:选择构建微调训练任务数据集 - [构建部署任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0069.md): 模型训练完成后,可以启动模型的部署操作,步骤如下:登录ModelArts Studio平台,进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“创建部署”页面,参考表1、图1,完成部署参数设置。区域中期海洋智能预测模型部署参数说明参数分类部署参数参数说明部署配置模型来源选择“盘古大模型”部署配置模型 - [微调典型问题](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0070.md): 科学计算大模型微调典型问题见表1。 - [模型调优方法介绍](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0095.md): 调优目标:提升模型精度和性能。调优思路:模型调优总体可分为两方面,数据预处理和模型训练参数优化,优化思路是从最简单的情形出发,逐步迭代调整提升模型效果,通过实验发现和确认合适的数据量,以及最佳的模型结构和模型参数。 - [数据预处理优化](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0096.md): 模型训练前,需要对数据进行加工,防止某些特征存在极端异常值或大面积错误数据,导致模型训练不稳定。可能会引发如下问题:模型对异常值过度敏感,导致拟合异常值而非整体数据分布。训练过程中损失波动较大,甚至出现梯度爆炸。模型在测试集上表现不佳,泛化能力差。优化调整策略如下:通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。通过可 - [训练参数优化](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0097.md): 科学计算大模型的训练参数调优可以考虑学习率参数,学习率(Learning Rate)是模型训练中最重要的超参数之一,它直接影响模型的收敛速度和最终性能:学习率过高,会导致损失在训练初期快速下降,但随后波动较大,甚至出现NaN(梯度爆炸)的问题。学习率过低,会导致损失下降非常缓慢,训练过程耗时较长,模型可能陷入局部最优等问题。科学计算大模型 - [评估模型效果](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0098.md): 训练作业完成后,可以通过平台提供的评估指标评估模型的效果,查看模型指标步骤如下:使用最终租户登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”。单击训练完成的模型,可在“训练结果”页面查看详细的模型效果评估指标,各指标说明见表1。训练结果页面模型效果评估指标说明评估 - [调优典型问题](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0099.md): 科学计算大模型调优典型问题见表1。 - [获取源数据](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0109.md): 常用数据来源(以pdf、word为例):网页:互联网中存在大量的网页数据,数据规模较大,且覆盖范围较广,可以通过爬虫工具进行爬取。但是网页数据可能会包含干扰信息,且格式容易错乱,需要进行精细的加工和筛选工作。对话:有助于提升模型的对话能力。可以从书面形式的对话、聊天记录、论坛帖子、社交媒体评论等途径获取,整体获取难度更高,处理也比较困难。 - [预处理数据](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0110.md): 根据不同场景,写出上传数据到平台前,数据涉及到的预处理操作步骤。如:根据获取源数据中描述的方法,您可以获得数据、代码、对话等类型的文本,与业界的预训练数据格式相同,您需要将文本处理为JSONL格式,其中的每一行文本为一个JSON字符串,且每个JSON字符串只包含 "text" 字段,该字段的值表示您的文本数据。样例如下: - [导入数据](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0111.md): 在使用ModelArts Studio大模型开发平台时,需要先完成OBS桶、资源池等准备工作,以支持后续模型调优、压缩部署任务,以及模型调优,任务日志等文件的存储。准备ModelArts Studio资源。请参考准备工作。准备训练数据集。NLP预训练数据集导入平台前需要按照预处理数据中描述的数据格式进行预处理。此外,ModelArts S - [加工数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0112.md): ModelArts Studio大模型开发平台提供数据加工功能,涵盖了数据加工、数据合成和数据标注关键操作,旨在确保原始数据符合业务需求和模型训练的标准,是数据工程中的核心环节。数据加工通过专用的加工算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。此外 - [评估数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0113.md): 数据评估旨在通过对数据集进行系统的质量检查,评估其数据质量和代表性等多个维度,发现潜在问题并加以解决。通常来说,数据评估遵循以下方法进行:质量评估:数据集质量评估:可以通过抽样评估的方式,随机抽取数据集中的样本,使用人工或自动打分的方式,来对数据集的质量进行打分。样本质量评估:主要评估数据样本的完整性、准确性和一致性,确保数据不存在损坏、 - [配比并发布数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0114.md): 不同数据源与大语言模型某些特定能力的学习具有紧密的联系,根据来源不同,预训练数据主要分为两种类型:通用文本数据和行业文本数据。通用文本数据涵盖了网页、书籍和对话文本等,主要是为了保留模型的通用能力,避免在下游任务上过拟合。行业文本数据主要为了提升模型解决下游任务的能力。以Llama模型的数据配比为例,主要包括了82%的网页数据、6.5%的 - [获取源数据](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0116.md): 微调数据集为问答数据,分成通用数据集(语言理解、编程能力、数学能力、逻辑推理等)和行业数据集(如法律、医疗、金融等)。数据获取方法开源数据集:通用数据集中文SmolTalk数据集smoltalk-chinese是一个参照SmolTalk数据集构建的中文微调数据集。它旨在为训练大型语言模型(LLMs)提供高质量的合成数据支持。该数据集完全由 - [预处理数据](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0117.md): 根据3.2.1-获取源数据中描述的方法,您可以获得通用和行业的微调数据集,与业界的微调数据格式相同,您需要将文本处理为JSONL格式,其中的每一行文本为一个JSON字符串,至少包含两个JSON键分别表示问题和回答,对应的键为context和target,system字段支持自定义人设,为可选。数据示例: - [导入数据](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0118.md): 在使用ModelArts Studio大模型开发平台时,需要先完成OBS桶、资源池等准备工作,以支持后续模型调优、压缩部署任务,以及模型调优,任务日志等文件的存储。准备ModelArts Studio资源。请参考准备工作。准备训练数据集。NLP微调数据集导入平台前数据集格式需满足文本类数据集格式要求。NLP微调数据集导入平台前数据集格式需 - [加工数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0119.md): ModelArts Studio大模型开发平台提供数据加工功能,涵盖了数据加工、数据合成和数据标注关键操作,旨在确保原始数据符合业务需求和模型训练的标准,是数据工程中的核心环节。数据加工通过专用的加工算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。此外 - [评估数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0120.md): 数据评估旨在通过对数据集进行系统的质量检查,评估其数据质量和代表性等多个维度,发现潜在问题并加以解决。通常来说,数据评估遵循以下方法进行:质量评估:数据集质量评估:可以通过抽样评估的方式,随机抽取数据集中的样本,使用人工或自动打分的方式,来对数据集的质量进行打分。样本质量评估:主要评估数据样本的完整性、准确性和一致性,确保数据不存在损坏、 - [配比并发布数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0121.md): 不同数据源与大语言模型某些特定能力的学习具有紧密的联系,根据来源不同,微调数据主要分为两种类型:通用问答数据和行业问答数据。通用问答数据涵盖了数学、代码和逻辑推理等,主要是为了保留模型的通用能力。行业指令数据主要为了提升模型解决下游任务的能力。以金融L1的数据配比为例,主要包括25%通用数学数据,20.5%通用代码数据,21.5%通用逻辑 - [增量预训练场景介绍](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0123.md): 以金融场景为例,金融领域是一个高度动态的环境,数据在不断地更新和变化。金融产品不断更新,其交易数据、价格波动、监管政策等信息都在持续变化。宏观经济数据如GDP增长率、通货膨胀率、利率等也会根据经济周期和政策调整而变化。这些动态数据使得金融领域的知识和信息不断积累和演变。也对金融领域大模型的训练提出挑战。金融领域有其自身的专业知识体系,包括 - [构建增量预训练数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0124.md): 金融领域增量预训练所需要的数据主要包含通用预训练数据和金融行业预训练数据。本案例推荐的开源数据集如下:通用中文预训练数据(CCI 3.0-HQ):基于CCI 3.0语料库,BAAI进一步进行加工,通过两阶段混合过滤管道开发,显著提升了数据质量,最终加工出500GB的高质量中文文本数据。为了评估有效性,在各种数据集上从头开始训练了一个0.5 - [构建增量预训练任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0125.md): 创建NLP大模型增量预训练任务步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。在“选择模型”页面,选择“我的资产 > 大语言模型 > 模型”,单击“确定”进入“创建训练任务”页面。在“创建训练任务”页面,参考表1完成训练 - [构建部署任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0126.md): 平台支持部署训练后的模型或预置模型,操作步骤如下:登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选择“我的资产 > 大语言模型 > 模型”,单击“确认”进入“创建部署”页面。在“创建部署”页面,参考表1 - [构建模型评测任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0127.md): 大模型评测是测试和衡量大模型在现实世界情境中表现如何的过程,是了解大模型性能的关键。能够帮助用户识别模型的优缺点,确保其在实际应用中的有效性,能够胜任特定任务并满足相关要求。在对训练好的NLP大模型进行评测时,首先需要构建评测集。评测数据集要求:主要考验模型的知识记忆能力和文本理解能力。具体可分为通用能力和行业能力。通用能力:主要包含通用 - [分析评测结果并优化模型](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0128.md): 根据模型评测结果优化:增量预训练的核心目标是在一个已经训练好的基座模型上,使用新的、特定的数据(例如特定领域知识、新的时间段的知识)进行继续训练,期望模型能够吸收新知识的同时,不遗忘原有的通用能力因此,评价一个模型好坏的核心思想是:“收益有多大,代价有多高?”首先针对模型的领域能力,需要对比增量预训练前后模型在领域评测集上的性能提升是否符 - [增量预训练典型问题](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0129.md): 训练过程中loss偶尔出现突刺。可以同时监控模型训练过程中的grad norm数值,如果grad norm也同步发生跳变,那么说明模型在此阶段的学习不平稳,可能是因为训练数据的质量较差,模型难以学习,建议对训练数据进行再次更为精细的加工。可以同时监控模型训练过程中的grad norm数值,如果grad norm也同步发生跳变,那么说明模型 - [微调场景介绍](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0131.md): 以金融场景为例,金融领域是一个高度动态的环境,数据在不断地更新和变化。金融产品不断更新,其交易数据、价格波动、监管政策等信息都在持续变化。宏观经济数据如GDP增长率、通货膨胀率、利率等也会根据经济周期和政策调整而变化。这些动态数据使得金融领域的知识和信息不断积累和演变。也对金融领域大模型的训练提出挑战。催收意图识别是金融行业中,特别是信贷 - [构建微调训练任务数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0132.md): 本案例使用开源通用中文指令微调数据集:中文 SmolTalk 数据集smoltalk-chinese是一个参照SmolTalk数据集构建的中文微调数据集。它旨在为训练大型语言模型(LLMs)提供高质量的合成数据支持。该数据集完全由合成数据组成,包含超过70万条记录。它专门设计用于提高中文LLMs在各种任务中的性能,增强其多样性和适应性。下 - [构建微调训练任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0133.md): 创建NLP大模型微调任务步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击确定进入创建训练任务页面。在“创建训练任务”页面,参考表1完成训练参数设置,参数 - [构建部署任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0134.md): 模型训练完成后,即模型处于“已完成”状态时,可以启动模型的部署操作。模型部署列表支持检索模型,部署后的模型可以进行停止、启动、删除操作。构建部署任务的操作步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选 - [构建模型评测任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0135.md): 大模型评测是测试和衡量大模型在现实世界情境中表现如何的过程,是了解大模型性能的关键。能够帮助用户识别模型的优缺点,确保其在实际应用中的有效性,能够胜任特定任务并满足相关要求。在对训练好的NLP大模型进行评测时,首先需要构建评测集。评测数据集要求:主要考验模型的知识记忆能力和文本理解能力。具体可分为通用能力和行业能力。通用能力:主要包含通用 - [分析评测结果并优化模型](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0136.md): 微调的核心目标是在一个已经训练好的基座模型上,使用特定的数据提升模型在某个特定的任务或领域的表现,期望模型能够吸收新知识的同时,不遗忘原有的通用能力。因此,评价一个模型好坏的核心思想是:“收益有多大,代价有多高?”首先针对模型的领域能力,需要对比微调前后模型在领域评测集上的性能提升是否符合预期,当前模型领域能力是否满足真实场景要求。其次针 - [微调典型问题](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0137.md): 什么情况下需要微调?微调的目的是为了提升模型在某个特定的任务或领域的表现。在大多数场景下,通过Prompt工程,通用模型也能给出比较满意的回答。但如果您的场景涉及如下几种情况,则建议采用微调的手段来解决:目标任务依赖垂域背景知识:通用模型学习到的知识大部分都是来自互联网上的开源数据,如果目标任务本身属于某个领域(比如,金融、政务、法律、医 - [模型蒸馏场景介绍](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0139.md): 在大模型技术日益发展的今天,模型的性能越来越强大,但是随之而来的是更加复杂的模型结构与更高的训练和部署成本,以及更慢的模型回复速度。但是在很多场景下,用户只需要特定领域的模型功能,并不需要训练非常复杂的模型,此时就可以利用模型蒸馏技术将需要的模型能力迁移到一个小模型当中进行部署使用。传统的模型蒸馏为“教师-学生”模式,旨在将一个性能强大的 - [构建模型蒸馏数据集](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0140.md): 通常来说,为了保证模型的通用能力,在微调的时候需要同步配置一定比例的通用指令数据。本案例使用的开源通用中文指令微调数据集如下:COIG-CQIACOIG-CQIA是一个开源的高质量指令微调数据集,旨在为中文NLP社区提供高质量且符合人类交互行为的指令微调数据。COIG-CQIA以中文互联网获取到的问答及文章作为原始数据,经过深度清洗、重构 - [构建模型蒸馏训练任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0141.md): 创建NLP大模型微调任务步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。在“选择模型”页面,选择“模型广场 > 大语言模型 > 模型”,单击“确定”进入“创建训练任务”页面。在“创建训练任务”页面,参考表1完成训练参数设 - [构建部署任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0142.md): 模型训练完成后,即模型处于“已完成”状态时,可以启动模型的部署操作。模型部署列表支持检索模型,部署后的模型可以进行停止、启动、删除操作。构建部署任务的操作步骤如下:登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。在“选择模型”页面,选 - [构建模型评测任务](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0143.md): 大模型评测是测试和衡量大模型在现实世界情境中表现如何的过程,是了解大模型性能的关键。能够帮助用户识别模型的优缺点,确保其在实际应用中的有效性,能够胜任特定任务并满足相关要求。在对训练好的NLP大模型进行评测时,首先需要构建评测集。评测数据集要求:本案例中主要考验模型的推理能力,可分为通用推理和场景推理能力。通用推理能力:主要包含通用领域的 - [分析评测结果并优化模型](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0144.md): 模型蒸馏的主要目标是将“教师模型”的知识迁移到“学生模型”上面,让“学生模型”在某个特定的场景下,性能表现能够达到接近“教师模型”的性能水平。与此同时需要注意的是,经过蒸馏训练的“学生模型”,期望其通用领域的能力不要有大幅度的下降。因此,评价一个模型好坏的核心思想是:“收益有多大,代价有多高?”首先针对模型的领域场景能力,需要对比蒸馏训练 - [模型蒸馏典型问题](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0145.md): 在进行模型蒸馏的过程中,“教师模型”的一些缺陷也会被学到,如模型蒸馏得到的回复是错误的,或包含有害信息的。在得到蒸馏数据之后,应当对数据进行进一步清洗,结合真实数据对错误内容和有害内容进行校准或过滤,保证数据质量。数据质量对模型的性能至关重要。在得到蒸馏数据之后,应当对数据进行进一步清洗,结合真实数据对错误内容和有害内容进行校准或过滤,保 - [模型调优方法介绍](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0146.md): 在实际应用中,首次微调所得的模型往往无法取得最佳效果,为了让模型能更好地解决特定场景任务,通常需要根据微调所得模型的效果情况来进行几轮的模型微调优化迭代。在大模型的微调效果调优过程中,训练数据优化、训练超参数优化、提示词优化以及推理参数优化是最重要的几个步骤。训练数据的优化是提升模型效果的基础。通过数据加工、数据合成、数据标注、数据配比等 - [优化训练数据的质量](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0147.md): 在数据科学和机器学习领域,数据的质量和多样性对模型的效果至关重要。通过有效的数据预处理和数据优化方法,通过提升训练数据的质量可以显著提升训练所得模型的效果。以下是一些关键的数据优化方法及其具体过程:错误数据过滤 :在大规模数据集中,噪声和错误数据是不可避免的。这包括回复事实性错误、拼写错误、语法错误、不完整的数据片段等。通过自动化的脚本或 - [优化训练超参数](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0148.md): 模型微调超参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响:目标任务的难度:如果目标任务的难度较低,模型能较容易地学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。数据量级:如果微调数据很多,从客观上来说越多的数据越能接近真实分布,那么可以使用 - [优化提示词](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0149.md): 模型训练完成之后,优化提示词是一种可以继续优化模型效果的有效策略,一个好的提示词能极大地激发模型的潜能,使其在特定任务上表现出色。接下来,我们将深入探讨提示词优化的方法和技巧,帮助您更好地驾驭模型,实现高质量的任务完成。优化提升词一般可以从以下几个方面开始:选择合适的提示词模板根据任务类型选择提示词模板:不同类型的任务可能需要不同类型的提 - [优化推理超参数](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0150.md): 推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,比如长度、随机性、创造性、多样性、准确性、丰富度等等。当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,表1提供了典型推理参数的建议值和说明,供您参考:为了更好地理解这几个参数的作用,下面列举了一些常见场景:文本生成:对于文本生成场景( - [调优典型问题](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0151.md): 为什么微调后的模型,回答总是在重复某一句或某几句话?当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查:推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以 - [盘古大模型最佳实践案例列表](https://support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0200.md): 本文汇总了盘古大模型服务的常见应用场景,并为每个场景提供详细的方案描述和操作指南,以帮助您在ModelArts Studio大模型开发平台中轻松搭建业务。 ## API参考 - [概述](https://support.huaweicloud.com/api-pangulm/pangulm_05_0002.md): ModelArts Studio大模型开发平台支持纳管盘古大模型及三方大模型,模型在平台部署后,可以通过API调用推理接口。用户在部署服务的过程中,建议开启“安全护栏”功能,以保证内容的安全性。 - [调用说明](https://support.huaweicloud.com/api-pangulm/pangulm_05_0003.md): 盘古大模型提供了REST(Representational State Transfer)风格的API,支持您通过HTTPS请求调用,调用方法请参见如何调用REST API。调用API时,需要用户网络可以访问公网。 - [请求URI](https://support.huaweicloud.com/api-pangulm/pangulm_05_0004.md): 服务的请求URI即API服务的终端地址,通过该地址与API进行通信和交互。URI获取步骤如下:获取模型请求URI。若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的请求URI。部署后的模型调用路径若调用的是用户自己部署的NLP推理服务,可在“AP - [基本概念](https://support.huaweicloud.com/api-pangulm/pangulm_05_0005.md): 账号用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。用户注册华为云时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账 - [构造请求](https://support.huaweicloud.com/api-pangulm/pangulm_05_0008.md): 本节介绍REST API请求的组成,并以调用服务的获取用户Token接口说明如何调用API。您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。请求示例如图1,一个请求主要由请求URI、请求方法、请求消息头和请求消息体组成。请求URI由如下部分组成:{U - [认证鉴权](https://support.huaweicloud.com/api-pangulm/pangulm_05_0009.md): 调用接口有如下认证方式,您可以选择其中一种进行认证鉴权。Token认证:通过Token认证调用请求。API Key认证:当用户部署的模型服务期望开放给其他用户调用时,使用原有的Token认证需要进行动态认证鉴权和凭证管理,操作繁杂。此时可使用API Key认证。该方式不仅相比Token认证更简便,还与业界主流模型调用规范保持一致。Toke - [返回结果](https://support.huaweicloud.com/api-pangulm/pangulm_05_0010.md): 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。对于Pangu服务接口,如果调用后返回状态码为200,则表示请求成功。对应请求消息头,响应同样也有消息头,如Content-Type。响应消息体通常以结构化格式返回,与响应消息头中C - [文本对话](https://support.huaweicloud.com/api-pangulm/pangulm_05_0012.md): 基于文本对话功能,用户可以与模型进行自然而流畅的对话和交流。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。获取URI方式请参见请求URI。NLP推理服务提供两种推理接口调用:盘古推理接口(V1推理接口)。业界通用的OpenAI格式接口(V2推 - [图像问答](https://support.huaweicloud.com/api-pangulm/pangulm_05_0016.md): 多模态图像问答接口提供图片描述、视觉问答、OCR等能力,常用于图像理解、视觉问答等理解和生成任务。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。获取URI方式请参见请求URI。多模态推理服务提供两种推理接口调用:盘古推理接口(V1推理接口)业 - [可查询列表](https://support.huaweicloud.com/api-pangulm/pangulm_05_0017.md): 获取可查询的item列表及数量。GET /v1/items获取URI方式请参见请求URI。状态码: 200状态码: 400请参见状态码。请参见错误码。 - [状态码](https://support.huaweicloud.com/api-pangulm/pangulm_05_0019.md): HTTP状态码为三位数,分成五个类别:1xx:信息响应;2xx:操作成功;3xx:重定向;4xx:客户端错误;5xx:服务器错误响应。状态码如下所示。 - [错误码](https://support.huaweicloud.com/api-pangulm/pangulm_05_0020.md): 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。遇到“APIG”开头的错误码,请参考本文档进行处理。 - [获取项目ID](https://support.huaweicloud.com/api-pangulm/pangulm_05_0021.md): 登录管理控制台。在页面右上角的用户名的下拉列表中选择我的凭证。我的凭证在我的凭证页面,获取项目ID(project_id),以及账号名、账号ID、IAM用户名和IAM用户ID。在调用盘古API时,获取的项目id需要与盘古服务部署区域一致,例如盘古大模型当前部署在“西南-贵阳一”区域,需要获取与贵阳一区域的对应的项目id。查看项目ID多项目 - [获取模型部署ID](https://support.huaweicloud.com/api-pangulm/pangulm_05_0023.md): 模型部署ID获取步骤如下:若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单击模型名称,在“详情”页签中,可获取模型的部署ID。部署后的模型调用路径若调用预置模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“预置服务”页签,模型列表单击“调用路径”,获取该模型的部署ID。预置模型 - [预测结果查询](https://support.huaweicloud.com/api-pangulm/pangulm_05_0024.md): 根据item列表查询预测的时序数据结果。POST /v1/predictions获取URI方式请参见请求URI。状态码: 200状态码: 400请参见状态码。请参见错误码。 - [特征重要性查询](https://support.huaweicloud.com/api-pangulm/pangulm_05_0026.md): 以层级为单位查询特征重要性。POST /v1/feat-importance获取URI方式请参见请求URI。状态码: 200状态码: 400请参见状态码。请参见错误码。 - [Token计算器](https://support.huaweicloud.com/api-pangulm/pangulm_05_0034.md): 为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量,提供费用预估,并优化数据预处理策略。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/ - [创建推理作业](https://support.huaweicloud.com/api-pangulm/pangulm_05_0035.md): 支持调用科学计算大模型创建气象/降水模型的推理作业。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/infer-api/proxy/service/{deployment_id}/v2/{deploy - [查询推理作业详情](https://support.huaweicloud.com/api-pangulm/pangulm_05_0038.md): 根据创建推理作业的作业ID获取科学计算大模型的结果数据。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。GET /v1/{project_id}/infer-api/proxy/service/{deployment_id}/v2/{deplo - [Pangu-CV-图像分类-2.1.0](https://support.huaweicloud.com/api-pangulm/pangulm_05_0048.md): 根据在图像信息中所反映的不同特征,对图像进行定量分析,把图像划归为若干个类别中的某一种。适用于动植物分类、车辆类型分类、车牌分类、废钢定级、零部件分类等任务。服务调用方式:支持图片推理。图片推理支持在线和边缘部署。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请 - [Pangu-CV-物体检测-S-2.1.0](https://support.huaweicloud.com/api-pangulm/pangulm_05_0049.md): 找出图像中所有感兴趣的目标,确定它们的位置和类别。物体检测-S模型特点是小参数量,适合在资源有限的环境中使用,提供较快的检测速度和合理的精度。服务调用方式:支持图片推理。图片推理支持在线和边缘部署。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项 - [Pangu-CV-物体检测-N-2.1.0](https://support.huaweicloud.com/api-pangulm/pangulm_05_0050.md): 找出图像中所有感兴趣的目标,确定它们的位置和类别。物体检测-N模型特点是参数量适中,适合在资源有限的环境中使用,提供较快的检测速度和合理的精度。服务调用方式:支持图片推理。图片推理支持在线和边缘部署。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权 - [Pangu-CV-物体检测-S-3.1.0](https://support.huaweicloud.com/api-pangulm/pangulm_05_0051.md): 盘古计算机视觉物体检测大模型,任务是找出图像中所有感兴趣的目标,确定它们的位置和类别。服务调用方式:支持图片推理。图片推理支持在线和边缘部署。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/infer - [盘古统一编码时序预测分类大模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0053.md): 基于时序预测基模型实现分类预测能力。时序分类预测有很多应用场景,例如:基于工业设备传感器一段时间采集的连续数据,实现设备正常或异常状态的预测。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见请求URI。使用Tok - [盘古融合推荐异常检测大模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0055.md): 针对特定场景的异常检测任务,用户传入异常检测数据,使用模型对指定的预测目标进行异常检测预测。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见请求URI。使用Token认证方式的请求Header参数见表1。使用AP - [数据分类预测](https://support.huaweicloud.com/api-pangulm/pangulm_05_0057.md): 针对特定场景的分类任务,用户传入分类数据,使用模型对指定的预测目标进行分类预测。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见请求URI。使用Token认证方式的请求Header参数见表1。使用API Key认 - [排列特征重要性](https://support.huaweicloud.com/api-pangulm/pangulm_05_0058.md): 支持用户传入一批数据样本,并据此计算各个特征的排列重要性(permutation importance)。基本原理为,对输入的数据样本,首先完成一次推理,将评估指标作为baseline。将数据的某一特征在行数据之间随机混淆,评估预测效果,并计算指标的下降值,并以此评估特征的重要性。当混淆某一列特征,导致预测效果与baseline有较大下降 - [数据回归预测](https://support.huaweicloud.com/api-pangulm/pangulm_05_0060.md): 针对特定场景的回归任务,用户传入回归数据,使用模型对指定的预测目标进行回归预测。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见请求URI。使用Token认证方式的请求Header参数见表1。使用API Key认 - [排列特征重要性](https://support.huaweicloud.com/api-pangulm/pangulm_05_0061.md): 支持用户传入一批数据样本,并据此计算各个特征的排列重要性(permutation importance)。基本原理为,对输入的数据样本,首先完成一次推理,将评估指标作为baseline。将数据的某一特征在行数据之间随机混淆,评估预测效果,并计算指标的下降值,并以此评估特征的重要性。当混淆某一列特征,导致预测效果与baseline有较大下降 - [创建文生视频任务](https://support.huaweicloud.com/api-pangulm/pangulm_05_0062.md): 支持调用多模态视频大模型创建文生视频的推理任务。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/alg-infer/aigc-text-video/service/{deployment_id}/vi - [查询文生视频任务详情](https://support.huaweicloud.com/api-pangulm/pangulm_05_0063.md): 根据创建文生视频任务返回的ID获取文生视频的任务详情。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。GET /v1/{project_id}/alg-infer/aigc-text-video/service/{deployment_id}/ - [创建图生视频任务](https://support.huaweicloud.com/api-pangulm/pangulm_05_0064.md): 支持调用多模态视频大模型创建图生视频的推理任务。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/alg-infer/aigc-img-video/service/{deployment_id}/vid - [查询图生视频任务详情](https://support.huaweicloud.com/api-pangulm/pangulm_05_0065.md): 根据创建图生视频任务返回的ID获取图生视频的任务详情。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。GET /v1/{project_id}/alg-infer/aigc-img-video/service/{deployment_id}/v - [创建视频续写任务](https://support.huaweicloud.com/api-pangulm/pangulm_05_0066.md): 支持调用多模态视频大模型创建视频续写的推理任务。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/alg-infer/aigc-video-extension/service/{deployment_i - [查询视频续写任务详情](https://support.huaweicloud.com/api-pangulm/pangulm_05_0067.md): 根据创建视频续写任务返回的ID获取视频续写的任务详情。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。GET /v1/{project_id}/alg-infer/aigc-video-extension/service/{deployment - [上传图片或视频](https://support.huaweicloud.com/api-pangulm/pangulm_05_0068.md): 支持上传本地的图片或视频,得到图片或视频的URL,可以使用此图片URL执行图生视频任务,或使用视频URL执行视频续写任务。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/common-obs-serv - [Embedding模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0073.md): Embedding模型服务在创建知识库中,文本处理阶段,用于对文本文档进行前片,转换成向量化表示。在知识检索阶段,根据用户输入的query对切片进行召回。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。获取URI方式请参见请求URI。POST - [Rerank模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0074.md): Rerank模型服务用于对召回的切片,按照query与切片的相关度进行精细化排序,以确保召回相关度top切片。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /pangu/search/v1/rerank使用Token认证方式的请求H - [搜索规划模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0075.md): Pangu-SearchPlan模型,用于RAG场景,提供通用意图分类/多轮查询改写/复杂查询分解/时间抽取等功能,在RAG任务中生产用于检索的query,以及根据query分类路由到后续不同的流程。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权 - [行业NLP大模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0077.md): 基于文本对话功能,用户可以与行业大模型进行自然而流畅的对话和交流,实现行业领域的文本生成、行业推理等场景。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。URI和NLP大模型一致,具体内容参见URI。请求参数和NLP大模型一致,具体内容参见请求 - [三方NLP大模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0079.md): 三方NLP大模型API是基于DeepSeek和通义千问大模型推出的接口服务,它支持多场景文本交互,能够快速生成高质量对话、文案、故事等内容,可用于文本摘要、智能问答、内容创作等场景。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。NLP推理服务 - [服装图像标签搜索模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0081.md): 基于服装图片返回图像中的服装类型、款式信息、工艺类别及置信度信息。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/infer-api/proxy/service/{deployment_id}/获取U - [查询数据血缘](https://support.huaweicloud.com/api-pangulm/pangulm_05_0083.md): 客户通过obs导入原始数据集,可基于该obs路径查询所有基于该路径创建的原始数据集及后续的血缘信息。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。GET /v1/{project_id}/workspaces/{workspace_id}/d - [数据集彻底删除](https://support.huaweicloud.com/api-pangulm/pangulm_05_0084.md): 只针对从obs上传的数据,在删除数据集的时候要关联删除OBS下对应的原始数据。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/workspaces/{workspace_id}/data-manage - [时序异常检测预训练工作流](https://support.huaweicloud.com/api-pangulm/pangulm_05_0088.md): 使用设备历史正常数据对时序异常检测大模型进行全量训练,使其更好地学习并重构正常数据的潜在特征分布。在推理阶段,利用模型对输入样本的重构误差作为异常判别依据:若重构效果显著下降,则表明该样本偏离正常模式,具有潜在异常趋势,从而实现对异常数据的有效检测与区分。若为零样本直推模型或预训练工作流产物(正常数据学习)模型,根据指定异常分计算方式返回 - [时序异常检测微调工作流](https://support.huaweicloud.com/api-pangulm/pangulm_05_0089.md): 在时序异常检测大模型基础上引入多种下游适配器,支持基于历史数据的阈值优化或基于标注正异常数据的二分类识别。通过此方式,将原始问题转化为针对特定时间点的二分类任务,判断其状态为正常或异常。若为微调工作流产物(正异常数据分类)模型,默认返回时序点正异常类别+重构值。同时支持自定义阈值以及具体具体异常分,便于后续异常样本的推理可解释以及可视化分 - [Pangu-CV-语义分割-2.1.0](https://support.huaweicloud.com/api-pangulm/pangulm_05_0090.md): 将数字图像细分为多个图像子区域,适用于车道分割、建筑分割、选煤厂筛面状态识别等任务。服务调用方式:支持图片推理。图片推理支持在线和边缘部署。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/{project_id}/infer- - [Pangu-CV-实例分割-1.1.0](https://support.huaweicloud.com/api-pangulm/pangulm_05_0091.md): 能够对输入图片中的不同类别物体及物体个体进行分割识别,输出每个实例的类别标签、置信度及坐标信息。服务调用方式:支持图片推理和视频推理。图片、视频推理支持在线和边缘部署。视频推理调用方式,需在创建部署任务时设置环境变量,添加rtsp视频流地址:添加环境变量,名称 “ADDRS”。环境变量的值为视频流地址,格式示例:rtsp://{边缘节点地 - [盘古表格直推预测大模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0092.md): 可实现免微调直推表格预测,面对有限样本条件下,基于上下文关联推理技术,免微调自适应数据分布,可以实现开箱即用的效果。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见请求URI。使用Token认证方式的请求Head - [Qwen三方VL大模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0093.md): Qwen2.5-VL系列模型,具备图像识别、精准视觉定位、文字识别和理解、文档解析、视频理解等能力。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。多模态推理服务提供两种推理接口调用:盘古推理接口(V1推理接口)业界通用的OpenAI格式接口( - [时序预测回归零样本直推](https://support.huaweicloud.com/api-pangulm/pangulm_05_0095.md): 使用行业大规模时序数据进行预训练,获得能够捕捉时序特征的预置模型。在推理阶段,该预置模型根据输入的历史时序特征,对未来时序进行预测,最多支持1024个时间点的预测。直推模式支持:单目标推理:支持单变量时序预测。多目标推理:支持多变量时序预测。历史与未来协变量推理:支持协变量输入的时序预测。协变量分为两类:当前信息不可知的历史协变量,如传感 - [时序预测回归微调产物推理](https://support.huaweicloud.com/api-pangulm/pangulm_05_0096.md): 使用微调产物进行部署推理。微调使用历史数据对基模型进行微调,实现时序预测任务,最多支持128个未来时间点的预测。预测目标数据需要是连续数值,数据类型一般是数值类。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见请 - [数据分类预测](https://support.huaweicloud.com/api-pangulm/pangulm_05_0097.md): 基于统一编码大模型实现表格分类预测能力,面向具体业务场景的分类任务,用户传入分类数据,使用模型对指定的预测目标进行分类预测。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见请求URI。使用Token认证方式的请求 - [单条推理可解释(Shapley值分析)](https://support.huaweicloud.com/api-pangulm/pangulm_05_0098.md): 支持用户传入一组能够代表训练数据分布的参考数据集,以及待解释的单条推理样本,基于 Shapley 值理论计算该样本中各特征对模型预测结果的贡献程度,输出特征重要性排序。基本原理:Shapley 值源自合作博弈论,通过计算某特征在所有可能特征组合顺序下的平均边际贡献,公平地分配模型预测结果至各个输入特征。其具备数学上的严谨性与可加性,满足: - [数据回归预测](https://support.huaweicloud.com/api-pangulm/pangulm_05_0099.md): 基于统一编码大模型实现表格回归预测能力,针对特定场景的回归任务,用户传入回归数据,使用模型对指定的预测目标进行回归预测。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见请求URI。使用Token认证方式的请求He - [单条推理可解释(Shapley值分析)](https://support.huaweicloud.com/api-pangulm/pangulm_05_0100.md): 支持用户传入一组能够代表训练数据分布的参考数据集,以及待解释的单条推理样本,基于 Shapley 值理论计算该样本中各特征对模型预测结果的贡献程度,输出特征重要性排序。接口同单条推理可解释(Shapley值分析)。 - [时序异常检测零样本直推](https://support.huaweicloud.com/api-pangulm/pangulm_05_0101.md): 已使用行业大规模时序数据进行预训练,获得可捕获正常时序模式的预置模型。在推理阶段,使用该预置模型对输入的重构误差作为异常判别依据。若为零样本直推模型或预训练工作流产物(正常数据学习)模型,根据指定异常分计算方式返回异常分+重构值,共有以下三种计算方式:重构误差:计算多次重构的均值,计算与真实值的偏差值记作异常分。重构方差(推荐):计算多次 - [单条推理可解释(Shapley值分析)](https://support.huaweicloud.com/api-pangulm/pangulm_05_0102.md): 支持用户传入一组能够代表训练数据分布的参考数据集,以及待解释的单条推理样本,基于 Shapley 值理论计算该样本中各特征对模型预测结果的贡献程度,输出特征重要性排序。接口同单条推理可解释(Shapley值分析)。 - [单条推理可解释(Shapley值分析)](https://support.huaweicloud.com/api-pangulm/pangulm_05_0103.md): 支持用户传入一组能够代表训练数据分布的参考数据集,以及待解释的单条推理样本,基于 Shapley 值理论计算该样本中各特征对模型预测结果的贡献程度,输出特征重要性排序。接口同单条推理可解释(Shapley值分析)。 - [结构化数据预测模型](https://support.huaweicloud.com/api-pangulm/pangulm_05_0104.md): 结构化数据预测是为了收编工业智能中枢历史预测功能,适用场景同回归模型、分类模型、时序预测模型。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /v1/predict获取URI方式请参见请求URI。使用Token认证方式的请求Heade - [获取空间ID](https://support.huaweicloud.com/api-pangulm/pangulm_05_0105.md): 使用最终租户登录ModelArts Studio平台,进入所需空间。在左侧“空间资产”导航栏中选择资产页签,例如选择“数据”页签。在所选择的页面中按F12打开开发者工具并进入“Network”页签,单击资产列表的刷新按钮。在开发者工具的“Network”中找到assets接口,在接口的响应体(Response)中查询空间ID。获取空间ID - [获取负载均衡ID](https://support.huaweicloud.com/api-pangulm/pangulm_05_0108.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [Pangu-CV-万物检测-V2](https://support.huaweicloud.com/api-pangulm/pangulm_05_0109.md): 该模型主要实现物体检测的功能,输入图片的base64码和自定义的标签列表,模型识别出图片中该类别所在的位置,会返回带有标签的检测框信息和画好框的图片base64编码。服务调用方式:支持图片推理。图片推理支持在线和边缘部署。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权 - [Pangu-CV-视觉交互检测-V3](https://support.huaweicloud.com/api-pangulm/pangulm_05_0110.md): 盘古视觉交互检测大模型,支持通过文本或者视觉提示来找出目标图像中所有感兴趣的目标,确定它们的位置和类别。视觉交互检测推理分为“开集模型推理”和“闭集模型推理”,其中:开集模型推理:该模式下用户可以给出想要检测的目标少量的视觉提示和文本提示(单一视觉提示或文本提示亦可),即可在待检测图像上检测用户指定目标类目。该过程整体分为提示特征获取和提 - [获取用户ID](https://support.huaweicloud.com/api-pangulm/pangulm_05_0111.md): 在调用接口的时候,部分URL中需要填入用户ID ,需要先在管理控制台上获取。用户ID获取步骤如下:登录管理控制台。在页面右上角的用户名的下拉列表中选择我的凭证。我的凭证在我的凭证页面,获取IAM用户ID ,即为用户ID。查看项目ID - [盘古时序异常检测大模型-V2](https://support.huaweicloud.com/api-pangulm/pangulm_05_0129.md): 基于盘古时序异常检测基模型(V2)实现零样本推理,兼容单变量与多变量时序数据,针对点异常、区间异常、趋势异常、周期异常等常见时序异常场景,提供时间点级异常概率评分。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限,具体权限要求请参见权限和授权项。POST /获取URI方式请参见 - [热量温度模型预测](https://support.huaweicloud.com/api-pangulm/pangulm_05_0130.md): 针对供热行业工况场景,升级统一编码模型架构。增加了供热机组数据融合训练、独立训练,融合部署架构和算法等功能。注意,推理请使用单机组数据作为请求体。POST /inference获取URI方式请参见请求URI。状态码: 200状态码: 400请参见状态码。请参见错误码。 - [供热机组二网流量预测](https://support.huaweicloud.com/api-pangulm/pangulm_05_0131.md): 获取供热机组二网流量预测参数。POST /second-flow获取URI方式请参见请求URI。状态码: 200返回一个 JSON 对象,key 为机组 id,value 为该机组的权重参数:状态码: 400请参见状态码。请参见错误码。 - [推理任务提交](https://support.huaweicloud.com/api-pangulm/pangulm_05_0132.md): 提交新的异步推理任务,从 OBS 下载数据并执行推理。POST /v1/inference获取URI方式请参见请求URI。桶策略添加方式:进入“对象存储服务 OBS”服务,在左侧导航栏选择“桶列表”。在桶列表中,选择存放数据的桶,单击待操作的桶,进入“对象”页面。在左侧导航栏,单击“权限控制 > 桶策略”,单击“创建”,在编辑桶策略页面, - [推理任务状态查询](https://support.huaweicloud.com/api-pangulm/pangulm_05_0133.md): 查询推理任务状态。GET /v1/{infer_task_id}/status获取URI方式请参见请求URI。此处infer_task_id为/v1/inference接口返回的infer_task_id,或训练工作流日志中打印的infer_task_id状态码: 200状态码: 400请参见状态码。请参见错误码。 - [盘古高速交通流量预测模型](https://support.huaweicloud.com/api-pangulm/pangulm_06_0243.md): 高速交通流预测模型,支持高速车流车速的回归预测任务。首次上线版本,支持多站点,多目标,多尺度的车流车速预测任务。模型部署后,首次调用会进行预热,时间不超过6min。POST /v1/predict/traffic获取URI方式请参见请求URI。状态码: 200状态码: 400假设站点数目为1,特征数目为1请参见状态码。请参见错误码。 ## SDK参考 - [盘古推理SDK简介](https://support.huaweicloud.com/sdkreference-pangulm/pangulm_06_0001.md): 盘古大模型推理SDK是对REST API进行的封装,通过该SDK可以处理用户的输入,生成模型的回复,从而实现自然流畅的对话体验。华为云盘古大模型推理SDK要求:Java SDK适用于JDK 1.8及其以上版本。Python SDK适用于Python3及以上版本。Go SDK支持go 1.14及以上版本。.NET SDK适用于.NET St - [准备工作](https://support.huaweicloud.com/sdkreference-pangulm/pangulm_06_0002.md): 注册华为账号并开通华为云,并完成实名认证,账号不能处于欠费或冻结状态。检查开发环境要求,确认本地已具备开发环境。登录“我的凭证 > 访问密钥”页面,依据界面操作指引获取Access Key(AK)和Secret Access Key(SK)。下载的访问密钥为credentials.csv文件,包含AK/SK信息。认证用的ak和sk硬编码到 - [使用推理SDK](https://support.huaweicloud.com/sdkreference-pangulm/pangulm_06_0003.md): 使用SDK前,需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。请在SDK中心获取最新的sdk包版本,替换示例中版本。API Explorer可根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。若调用部署后的模型,可在左侧导航栏中选择“模型开发 > - [常见问题](https://support.huaweicloud.com/sdkreference-pangulm/pangulm_06_0006.md): 当出现第三方库冲突的时,如Jackson,okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后),该包包含所有支持的服务和重定向了SDK依赖的第三方软件,避免和业务自身依赖的库产生冲突:jackson版本要求请见pom.xml。服务端返回的数据格式不符合json格式,导致sdk侧解析json数据报错。服务端返回的 ## 常见问题 - [盘古大模型是否可以自定义人设](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0004.md): 大模型支持设置人设,在用户调用文本对话(chat/completions)API时,可以将“role”参数设置为system,让模型按预设的人设风格回答问题。以下示例要求模型以幼儿园老师的风格回答问题: - [如何对盘古大模型的安全性展开评估和防护](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0006.md): 盘古大模型的安全性主要从以下方面考虑:数据安全和隐私保护:大模型涉及大量训练数据,这些数据是重要资产。为确保数据安全,需在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、审计和数据主权保护等机制。在训练和推理过程中,通过数据脱敏、隐私计算等技术手段识别并保护敏感数据,有效 - [训练智能客服系统大模型需考虑哪些方面](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0007.md): 根据智能客服场景,建议从以下方面考虑:根据企业实际服务的场景和积累的数据量,评估是否需要构建行业模型,如电商、金融等。根据每个客户的金牌客服话术,可以对对话模型进行有监督微调,进一步优化其性能。根据每个客户的实际对话知识,如帮助文档、案例库和FAQ库等,可以使用“先搜后推”的解决方案。客户的文档库可以实时更新,大模型的应答可以无缝实时更新 - [无监督领域知识数据量无法支持增量预训练,如何进行模型学习](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0013.md): 一般来说,建议采用增量预训练的方式让模型学习领域知识,但预训练对数据量的要求较大,如果您的无监督文档量级过小,达不到预训练要求,您可以通过一些手段将其转换为有监督数据,再将转换后的领域知识与目标任务数据混合,使用微调的方式让模型学习。这里提供了一些将无监督数据转换为有监督数据的方案,供您参考:基于规则构建:您可以通过采用一些简单的规则来构 - [如何调整训练参数,使盘古大模型效果最优](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0014.md): 模型微调参数的选择没有标准答案,不同的场景,有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响:目标任务的难度:如果目标任务的难度较低,模型能较容易地学习知识,那么少量的训练轮数就能达到较好的效果。反之,若任务较复杂,那么可能就需要更多的训练轮数。数据量级:如果微调数据很多,从客观上来说越多的数据越能接近真实分布,那么可以使用较 - [如何判断盘古大模型训练状态是否正常](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0015.md): 判断训练状态是否正常,通常可以通过观察训练过程中Loss(损失函数值)的变化趋势。损失函数是一种衡量模型预测结果和真实结果之间的差距的指标,正常情况下越小越好。您可以从平台的训练日志中获取到每一步的Loss,并绘制成Loss曲线,来观察其变化趋势。一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到 - [如何评估微调后的盘古大模型是否正常](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0016.md): 评估模型效果的方法有很多,通常可以从以下几个方面来评估模型训练效果:Loss曲线:通过Loss曲线的变化趋势来评估训练效果,确认训练过程是否出现了过拟合或欠拟合等异常情况。模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规 - [如何调整推理参数,使盘古大模型效果最优](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0017.md): 推理参数(解码参数)是一组用于控制模型生成预测结果的参数,其可以用于控制模型生成结果的样式,如长度、随机性、创造性、多样性、准确性和丰富度等等。当前,平台支持的推理参数包括:温度、核采样以及话题重复度控制,如下提供了这些推理参数的建议值和说明,供您参考:为了让您更好地理解这几个参数的作用,如下列举了一些常见场景,以及对应的调参指导,供您参 - [为什么微调后的盘古大模型总是重复相同的回答](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0018.md): 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查:推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以提升模型回答的多样性。数据质量:请检查训练数据中是否 - [为什么微调后的盘古大模型的回答中会出现乱码](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0019.md): 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的,建议您依次排查:数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练 - [为什么微调后的盘古大模型的回答会异常中断](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0020.md): 当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查:推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成的长度,避免生成异常截断。请注意,该参数值存在上限,请结合目标任务的实际需要以及模型支 - [为什么微调后的盘古大模型只能回答训练样本中的问题](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0021.md): 当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查:训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检 - [为什么在微调后的盘古大模型中输入训练样本问题,回答完全不同](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0022.md): 当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查:训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合,模型没有学到任何知识。请检查训练参数中的 - [为什么微调后的盘古大模型评估结果很好,但实际场景表现很差](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0023.md): 当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查:测试集质量:请检查测试集的目标任务和分布与实际场景是否一致,质量较差的测试集无法反映模型的真实结果。数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差 - [为什么多轮问答场景的盘古大模型微调效果不好](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0024.md): 当您的目标任务是多轮问答,并且使用了多轮问答数据进行微调,微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查:数据格式:多轮问答场景需要按照指定的数据格式来构造,问题需要拼接上历史所有轮对话的问题和回答。比如,当前是第三轮对话,数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回 - [数据量足够,为什么盘古大模型微调效果仍然不好](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0025.md): 这种情况可能是由于以下原因导致的,建议您排查:数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大、样本中存在异常数据、样本的多样性较差,都将影响模型训练的效果,建议提升您的数据质量。 - [数据量和质量均满足要求,为什么盘古大模型微调效果不好](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0026.md): 这种情况可能是由于以下原因导致的,建议您排查:训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,根据实际情况调整训练参数,帮助模型更好学习。Prompt设置:请检查您使用的Prompt,对 - [如何将本地的数据上传至平台](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0029.md): ModelArts Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS(对象存储服务),然后通过平台提供的“数据导入”功能,将存储在OBS中的数据导入至平台进行使用。具体操作步骤如下:上传数据至OBS:将本地数据上传至OBS服务,请详见通过控制台快速使用OBS。使用数据导入功能:通过平台提供的数据导入功能,将数据从OB - [导入数据过程中,为什么无法选中OBS的单个文件进行上传](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0030.md): 当前,ModelArts Studio平台针对不同类别的数据集可使用OBS服务导入的文件形式不同:文本、视频、预测和其他类(自定义)数据集支持文件夹或单个文件导入,导入界面提示用户:请选择文件夹或文件。支持导入单个文件示例图片、视频(事件检测)、气象类数据集仅支持文件夹导入,导入界面提示用户:“请选择文件夹”。不支持导入单个文件示例 - [如何查看预置模型的历史版本](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0031.md): ModelArts Studio平台支持查看预置模型的多个历史版本,并提供对历史版本进行训练等操作的功能。您还可以查看每个版本的操作记录、状态以及其他基础信息。要查看预置模型的历史版本,您可以按照以下步骤操作:进入平台的“空间资产 > 模型 > 预置”页面。在该页面中,单击所需的模型,即可查看历史版本及相关操作记录。 - [如何利用提示词提高大模型在难度较高推理任务中的准确率](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0035.md): 可以通过思维链的方式提高大模型在复杂推理任务中的准确率。思维链是一种通过分步骤推理来提升大模型在复杂任务中表现的方法。通过引导模型思考问题的过程,可以使其在推理任务中得到更高的准确性,尤其是在涉及多步推理和复杂逻辑关系的任务中。具体做法如下:提供相关示例:在提示词中加入类似的示例,帮助模型学习解题的模式和思路。通过这些示例,模型能够理解如 - [如何让大模型按指定风格或格式回复](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0036.md): 要让模型按照特定风格回复,可以提供领域和角色信息(如目标受众或特定场景),帮助模型理解并捕捉预期风格。可以在提示词中,明确描述回复风格的要求。例如,若希望模型回答更精炼,可以提示:你的回复“需要简洁精炼”、“仅包括最重要的信息”或“专注于主要结论”。可以在提示词中,明确描述回复风格的要求。例如,若希望模型回答更精炼,可以提示:你的回复“需 - [如何分析大模型输出错误回答的根因](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0037.md): 大模型的输出过程通常是一个黑盒,涉及数以亿计甚至千亿计的参数计算,虽然这些参数共同作用生成输出,但具体的决策机制并不透明。可以通过在提示词中引导模型输出思考过程,或者在模型输出后追问模型,帮助我们分析错误的根因。例如:通过模型的解释,我们可以推测错误的原因,并在提示词中进行相应的调整,从而规避类似错误。 - [为什么其他大模型适用的提示词在盘古大模型上效果不佳](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0038.md): 提示词与训练数据的相似度关系。提示词的效果通常与训练数据的相似度密切相关。当提示词的内容与模型在训练过程中接触过的样本数据相似时,模型更容易理解提示词并生成相关的输出。这是因为模型通过学习大量的训练数据,逐渐建立起对特定模式、结构和语言的理解,因此,提示词中包含的关键词、句式和语境如果与训练数据中的模式接近,模型能够“回忆”并运用已学习的 - [如何判断任务场景应通过调整提示词还是场景微调解决](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0039.md): 在选择是否通过调整提示词或场景微调来解决任务时,需要从以下两个主要方面进行考虑:业务数据的可获取性考虑该任务场景的业务数据是否公开可获取。如果该场景的相关数据可以公开获取,说明模型在训练阶段可能已经接触过类似的语料,因此具有一定的理解能力。这时,通过调整提示词通常可以有效引导模型生成合理的回答。例如,对于一些常见的问答场景(如常见百科问题 - [训练/推理单元与算力的对应关系是什么](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0040.md): 在创建训练任务或部署任务时,所消耗的训练单元或推理单元与算力的对应关系如下:1个训练单元的算力为313T。1个推理单元的算力为313T。 - [高频常见问题](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0041.md): 如何对盘古大模型的安全性展开评估和防护训练智能客服系统大模型需考虑哪些方面数据导入任务执行失败常见报错与解决方案数据加工任务执行失败常见报错与解决方案如何调整训练参数,使盘古大模型效果最优如何判断盘古大模型训练状态是否正常为什么微调后的盘古大模型评估结果很好,但实际场景表现很差数据量足够,为什么盘古大模型微调效果仍然不好盘古大模型是否可以 - [在ModelArts Studio 大模型开发平台找不到空间的原因是什么](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0043.md): 登录ModelArts Studio 大模型开发平台,找不到空间。如果新开通的平台还没创建空间,需要主账号创建空间,并授予用户空间权限。详情请参考创建并管理工作空间。如果平台已创建空间,但是用户找不到空间,可以让空间管理员将此用户加到相关空间即可。 - [在创建IAM账号时,需要为账号授权哪些权限才能使用ModelArts Studio大模型开发平台](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0044.md): 创建IAM账号时,主账号可以将IAM用户添加至用户组,此用户即可拥有用户组的相关权限。用户组可拥有以下权限,详情请参考创建用户组。使用ModelArts Studio大模型开发平台,如果需要在空间内进行数据、训练、部署等相关操作,需要空间管理员给IAM用户授予空间角色。 - [导入任务文件解析失败](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0047.md): 导入任务失败,日志中显示数据解析错误。此文件的格式不正确,请下载样例数据参考格式,或参见《用户指南》中数据集格式要求章节。 - [导入任务显示资源不足](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0048.md): 导入任务失败,查看日志显示The resource size is insufficient.。出现该错误是由于用户订购的数据托管单元不足,需要去首页的订购管理 > 资源订购中排查数据资源中的托管单元是否不足。按需扩容或订购,详情请参考续订模型资产和扩缩容资源。 - [导入页面显示没有权限](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0049.md): 在导入页面无法显示导入任务,报错显示no permission。出现此问题是由于此用户没有数据导入员的权限,需要单击操作列的编辑配置相应权限。在成员管理中为用户添加相应角色或者管理员角色。详情请参考修改盘古子用户权限。注意:管理员角色对工作空间有完全访问权,包括查看、创建、编辑或删除(适用时)工作空间中的资产,同时拥有添加、移除所在空间成 - [导入任务页面显示用户未订购obs相关业务](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0050.md): 创建导入任务页面显示“用户未订购obs相关业务”。创建导入任务支持用户OBS导入或本地上传导入,但在用户导入数据之前需订购数据托管单元。 - [加工任务失败,错误信息:依赖组件 task schedule 错误](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0052.md): 加工任务失败,错误信息:依赖组件 task schedule 错误单击任务id->日志管理->运行日志,查看实际的运行日志,建议基于该日志内容进行排查。数据集格式不正确或不满足算子处理要求,导致算子执行失败,报错日志如:报错原因:缺少字段 "text"。解决方案:查看数据集内容中是否存在 "text" 字段,若不存在,需要添加该字段。报错 - [创建数据加工任务的时候找不到已经创建的数据集](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0053.md): 已在平台创建(导入、加工、发布)数据集,但是在创建加工任务的时候找不到已经创建的数据集。找不到已经创建的数据集,有可能是数据集分类选错了。平台支持在创建加工任务的时候,筛选数据集。您可以通过数据集名称直接筛选出来,也可以通过数据集形态、数据集模态、数据集类型或创建人来筛选,这些筛选类型需要与您已创建的数据集的类型一致才可筛选出来。 - [加工完成的数据集存放在哪里](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0054.md): MA Studio原始数据集加工完成后看不到数据存在哪里了?数据加工包括加工、合成、标注、配比,加工完成的数据集查看方式均可通过任务列表页面和加工数据集页面查看。在对数据集创建加工/合成/配比任务之后,任务运行成功有两种状态,分别为运行成功和数据集生成成功。在对数据集创建标注任务之后,任务状态为已创建,生成状态分为-和数据集生成成功。以创 - [合成任务执行失败,报错提示执行任务失败,详情请查看日志](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0055.md): 合成任务执行失败,报错提示:执行任务失败,详情请查看日志。单击任务id->日志管理->运行日志,查看实际的运行日志,本条列出常见报错并提供排查方法:模型返回无法生成相关指令内容报错原因:模型无法根据数据集内容生成指令要求的内容。解决方案:检查数据集内容,选择的指令是否能对应该数据集,若不符合,更换数据集或更换指令重新执行;否则,更换模型重 - [如何获取模型的部署ID](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0057.md): 调用预置模型的API接口,根据官网文档无法找到预置模型的部署ID所在界面。需要申请公测或者订购盘古大模型服务后方可进入到平台获取部署ID,用于接口调用。 - [为什么购买大模型推理资源后,在创建模型部署任务时提示“暂无推理资源池订购信息”](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0059.md): 已经购买了大模型推理资源,但在创建模型部署任务时提示“暂无推理资源池订购信息”。边缘部署推理资源只能用于边缘部署,在线部署推理资源只能用于云上部署。用户购买的是边缘部署的推理资源,但是创建的是云上部署任务,导致资源和功能不一致,无法使用。用户需要重新购买在线部署推理资源,或重新选择可以云上部署的模型。 - [个人如何申请使用盘古大模型服务](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0060.md): 盘古大模型服务可以用于企业,也可以用于个人,具体申请方式如下所示:申请试用请参考申请试用ModelArts Studio大模型开发平台章节。订购服务请参考订购盘古大模型服务章节。 - [为什么模型训练最后一直卡在100%进行中,实际查看日志是已经结束了](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0061.md): 模型训练最后一直卡在100%进行中,实际查看日志是已经结束了。作业跑完了,还有产物需要同步,所以没有完成。等待产物同步完成后即可。 - [微调训练失败报错:Error processing file](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0062.md): 使用文档中提供的示例数据(5行数据),尝试使用Pangu-Predict-Reg-TS-2.1.2(预测时序回归)模型进行微调,但是训练过程会失败。日志报错:Error processing file ['dataset_0', 'dataset_1', 'dataset_2', 'dataset_3', 'dataset_4']: 'p - [在大模型开发平台的模型部署页面部署了预测大模型,调用报错Authentication failed](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0064.md): 在大模型开发平台的模型部署页面部署了预测大模型,调用报错Authentication failed。Authentication failed报错与认证鉴权相关。在使用Token认证时,使用的参数名称为X-Auth-Token,通过获取Token接口获取。在使用API Key认证时,使用的参数名称为X-Apig-AppCode,通过Mod - [部署完自己微调的预测大模型后,调用API,报错Failed to parse the URL, please check the URL](https://support.huaweicloud.com/pangulm_faq/pangulm_07_0065.md): 部署完自己微调的模型后,调用API,报错Failed to parse the URL, please check the URL需要检查URL的拼接是否正确:如图2所示,在从ModelArts Studio大模型开发平台获取URI后,需要在结尾拼接“/v1/predict”、“/”或者/perm-feat-importance”,返回2