近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。

查看更多 →

的资源是Ascend。 主流开源大模型基于Standard适配PyTorch NPU训练指导 本案例基于ModelArts Standard供的昇腾计算资源，指导用户完成Llama、Qwen、ChatGLM、Yi、Baichuan等常见开源大模型的预训练、SFT微调、LoRA微调训练过程。

查看更多 →

即自定义模型），则模型文件必须满足自定义模型规范（训练）才支持模型自定义训练。 当使用 自定义镜像 进行模型微调时，要确认镜像是否满足自定义镜像规范，否则无法成功完成自定义训练。 进入模型微调 登录AI Gallery。 单击“模型”进入模型列表。 选择需要进行微调训练的模型，单击模型名称进入模型详情页。

查看更多 →

选择要调测的模型服务，在下拉列表选择步骤三：部署模型中部署的模型服务。 输出方式 可选非流式、流式。二者区别如下： 非流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，大语言模型完整生成回答后一次性返回。 流式：调用大语言模型推理服务时，根据用户问题，获取大语言模型的回答，逐个字词的快速返回模式，不需等待大语言模型生成完成。

查看更多 →

该解决方案可以帮助您在华为云 弹性云服务器 E CS 上基于Geek-AI构建自己的创作系统。Geek-AI是基于 AI 大语言模型 API 实现的 AI 助手全套开源解决方案，自带运营管理后台，开箱即用。集成了 OpenAI、 Azure ChatGLM、讯飞星火、文心一言等多个平台的大语言模型。集成了

查看更多 →

和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。 从过去的经典AI，到今天人人谈论的大模型，自动驾驶，我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长，对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战：随着企业使用 GPU/NPU

查看更多 →

如何调整训练参数，使盘古大模型效果最优？ 如何判断盘古大模型训练状态是否正常？ 为什么微调后的盘古大模型总是重复相同的回答？ 盘古大模型是否可以自定义人设？ 更多 大模型概念类 如何对盘古大模型的安全性展开评估和防护？ 训练智能客服系统大模型需考虑哪些方面？ 更多 大模型使用类 盘古大模型是否可以自定义人设？

查看更多 →

播 方案架构 图1 方案架构图 方案主要由华为云计算底座、AI智能及客户联络产品形成面向客户服务、营销全流程的解决方案。 通过智能化的底层，赋能到客户服务业务的售前、售中、售后阶段，为企业做效率提升。 结合智能化能力，以及华为云盘古大模型能力，应用到语音、在线业务中，进行营销触达。

查看更多 →

、测试模型服务时需要调用ChatGLM3-6B大模型服务API在线调用、大模型微调服务API在线调用-SFT局部调优，按需计费模式能大幅降低客户的业务成本。 适用计费项 AI原生应用引擎的以下计费项支持按需计费。 表1 适用计费项 计费项 说明 ChatGLM3-6B大模型服务API在线调用

查看更多 →

如何调整推理参数，使盘古大模型效果最优 推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。 当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考：

查看更多 →

使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量 模型规格

查看更多 →

管理科学计算大模型部署任务 模型更新、修改部署 成功创建部署任务后，如需修改已部署的模型或配置信息，可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型和修改作业配置参数，但在修改部署时模型不可替换或修改作业配置参数。 在“模型更新”或“修改部署”

查看更多 →

PU计算资源。 训练后的模型可用于推理部署，搭建大模型问答助手。 主流开源大模型基于DevServer适配PyTorch NPU推理指导 推理部署、推理性能测试、推理精度测试、推理模型量化 介绍主流的开源大模型Llama系列、Qwen系列、Yi系列、Baichuan系列、ChatGLM系列等基于ModelArts

查看更多 →

案。 KooSearch 企业搜索服务：基于在MaaS开源大模型部署的模型API，搭建企业专属方案、LLM驱动的语义搜索、多模态搜索增强。 盘古数字人大脑：基于在MaaS开源大模型部署的模型API，升级智能对话解决方案，含智能客服、数字人。 Dify：支持自部署的应用构建开源解决方案，用于Agent编排、自定义工作流。

查看更多 →

创建科大讯飞应用（星火交互认知大模型） 在科大讯飞创建星火交互认知大模型的应用。详细操作如下所示： 星火交互认知大模型应用，不支持直接切换为AIUI通用语义模型，不适用。建议参考创建科大讯飞应用（AIUI通用语义模型）单独为其创建应用。 创建应用 （可选）创建问答库 配置应用 查看应用信息

查看更多 →

域，Endpoint为“aiae.appstage.myhuaweicloud.com”。 基本概念 大模型推理服务 直接调用预置大模型提供API完成推理过程。 私有模型部署 针对已经微调训练好的模型，如需评测此模型效果，或通过应用调用此模型，则需将模型部署为线上服务。 向量知识库

查看更多 →

无需AI技能，支持模型自动生成，业务人员快速使用 多种通信增值服务开箱即用，快速支撑电信领域AI应用 支持多种部署模式 公有云部署：数据允许出局，面向用户包括：中小T、合作伙伴、华为内部研发。 合营云部署：数据不出局，面向用户为有合营云的大T。 华为云Stack部署：数据不出局，面向用户为无合营云的大T。

查看更多 →

和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。 从过去的经典AI，到今天人人谈论的大模型，自动驾驶，我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长，对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战：随着企业使用 GPU/NPU

查看更多 →

无需AI技能，支持模型自动生成，业务人员快速使用 多种通信增值服务开箱即用，快速支撑电信领域AI应用 支持多种部署模式 公有云部署：数据允许出局，面向用户包括：中小T、合作伙伴、华为内部研发。 合营云部署：数据不出局，面向用户为有合营云的大T。 华为云Stack部署：数据不出局，面向用户为无合营云的大T。

查看更多 →

金财互联欣智悦财税大模型（TaxGPTs）基于华为云云计算、大数据技术、昇腾云、向量数据库等云服务，结合金财互联积累的财税领域知识，遵循“安全、向善、可信、可控”原则，利用大量高质量的财税数据对基础大模型进行训练和调优，构建的财税垂直领域大模型。 为企业提供智能化的数电发票管理、

查看更多 →

使用AI Gallery在线推理服务部署模型 AI Gallery支持将训练的模型或创建的模型资产部署为在线推理服务，可供用户直接调用API完成推理业务。 约束限制 如果模型的“任务类型”是“文本问答”或“文本生成”，则支持在线推理。如果模型的“任务类型”是除“文本问答”和“文本

查看更多 →