开源深度学习模型_方案概述-华为云

方案概述

获取模型网络权重，进行权重格式转换；支持客户进行数据集封装，打通适配模型的训练、微调、在线推理流程；支持客户进行模型的并行化改造，处理适配模型运行过程中的技术问题。模型迁移与调优支持：调研客户业务场景，支持客户分析模型代码结构，分析迁移可行性，设计迁移方案。支持客户进行模型迁移

来自：帮助中心

查看更多 →
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）场景介绍准备工作在Notebook调试环境中部署推理服务在推理生产环境中部署推理服务推理精度测试推理性能测试推理模型量化附录：基于vLLM不同模型推理支持最小卡数和最大序列说明

来自：帮助中心

查看更多 →
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）场景介绍准备工作在Notebook调试环境中部署推理服务在推理生产环境中部署推理服务推理精度测试推理性能测试推理模型量化附录：基于vLLM不同模型推理支持最小卡数和最大序列说明

来自：帮助中心

查看更多 →
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909）场景介绍准备工作在Notebook调试环境中部署推理服务在推理生产环境中部署推理服务推理精度测试推理性能测试推理模型量化附录：基于vLLM不同模型推理支持最小卡数和最大序列说明

来自：帮助中心

查看更多 →
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）场景介绍准备工作在Notebook调试环境中部署推理服务在推理生产环境中部署推理服务推理精度测试推理性能测试推理模型量化父主题： LLM大语言模型训练推理

来自：帮助中心

查看更多 →
准备工作

超参说明超参说明学习率影响模型收敛程度，决定了模型在每次更新权重时所采用的步长。学习率过高，模型可能会过度调整权重，导致不稳定的训练过程；如果学习率过低，模型训练速度会变慢，甚至陷入局部最优。 batch size 影响训练速度，有时候也会影响模型精度。 micro batch

来自：帮助中心

查看更多 →
Yaml配置文件参数配置说明

必须修改。指定输出目录。训练过程中生成的模型参数和日志文件将保存在这个目录下 logging_steps 2 用于指定模型训练过程中，多少步输出一次日志。日志包括了训练进度、学习率、损失值等信息。建议设置 save_steps 5000 指定模型训练过程中，每多少步保存一次模型。保存的模型可以用于后续的训练或推理任务

来自：帮助中心

查看更多 →
主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906）

主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906）场景介绍准备工作预训练 SFT全参微调训练 LoRA微调训练开启训练故障自动重启功能查看日志和性能训练脚本说明父主题： LLM大语言模型训练推理

来自：帮助中心

查看更多 →
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）

主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）场景介绍准备工作在Notebook调试环境中部署推理服务在推理生产环境中部署推理服务推理精度测试推理性能测试推理模型量化 Eagle投机小模型训练附录：基于vLLM不同模型推理支持最小卡数和最大序列说明

来自：帮助中心

查看更多 →
产品功能

因查询和搜索请求造成的数据泄露。可信联邦学习可信联邦学习是可信智能计算服务提供的在保障用户数据安全的前提下，利用多方数据实现的联合建模，曾经被称为联邦机器学习。联邦预测作业联邦预测作业在保障用户数据安全的前提下，利用多方数据和模型实现样本联合预测。可信智能计算节点数据

来自：帮助中心

查看更多 →
Standard模型训练

Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力，负责建立和管理机器学习训练工作负载所需的基础设施，减轻用户的负担，为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练，用户可以专注于开发、训练和微调模型。

来自：帮助中心

查看更多 →
自动学习简介

自动学习简介自动学习功能介绍 ModelArts自动学习是帮助人们实现模型的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。

来自：帮助中心

查看更多 →
排序策略-离线排序模型

法。学习率：优化算法的参数，决定优化器在最优方向上前进步长的参数。默认0.1。初始梯度累加和：梯度累加和用来调整学习步长。默认0.1。 L1正则项系数：叠加在模型的1范数之上，用来对模型值进行限制防止过拟合。默认0。 L2正则项系数：叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。

来自：帮助中心

查看更多 →
使用模型

，敬请期待后续更新。父主题：基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型

来自：帮助中心

查看更多 →
附录

方便地管理主机安全风险，实时发现黑客入侵行为，以及满足等保合规要求。 Web应用防火墙 WAF：对网站业务流量进行多维度检测和防护，结合深度机器学习智能识别恶意请求特征和防御未知威胁，全面避免网站被黑客恶意攻击和入侵。云证书管理服务 CCM：是华为联合全球知名数字证书服务机构，为您

来自：帮助中心

查看更多 →
路网数字化服务-成长地图

CCE云容器引擎是否支持负载均衡？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？更多远程登录应用容器化改造介绍

来自：帮助中心

查看更多 →
大模型开发基本概念

大模型开发基本概念大模型相关概念概念名说明大模型是什么大模型是大规模预训练模型的简称，也称预训练模型或基础模型。所谓预训练模型，是指在一个原始任务上预先训练出一个初始模型，然后在下游任务中对该模型进行精调，以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、

来自：帮助中心

查看更多 →
什么是云容器引擎

根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。服务治理：深度集成应用服务网格，提供开箱即用的应用服务网格流量治理能力，用户无需修改代码，即可实现灰度发布、流量治理和流量监控能力。容器运维：深度集成容器智能分析，可实时监控应用及资源，支持采集、管理、分析日志，采集各项指标及事件并提供一键开启的告警能力。

来自：帮助中心

查看更多 →
BF16和FP16说明

或下溢，从而提供更好的稳定性和可靠性，在大模型训练和推理以及权重存储方面更受欢迎。 FP16：用于深度学习训练和推理过程中，可以加速计算并减少内存的占用，对模型准确性的影响在大多数情况下较小。与BF16相比在处理非常大或非常小的数值时遇到困难，导致数值的精度损失。综上所述，BF

来自：帮助中心

查看更多 →
Kubeflow部署

0版本已经发布，包含开发、构建、训练、部署四个环节，可全面支持企业用户的机器学习、深度学习完整使用过程。如下图所示：通过Kubeflow 1.0，用户可以使用Jupyter开发模型，然后使用fairing（SDK）等工具构建容器，并创建Kubernetes资源训练其模型。模型训练完成后，用户还可以使用KFServ

来自：帮助中心

查看更多 →
创建模型微调任务

创建模型微调任务模型微调是指调整大型语言模型的参数以适应特定任务的过程，适用于需要个性化定制模型或者在特定任务上追求更高性能表现的场景。这是通过在与任务相关的微调数据集上训练模型来实现的，所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中，微调用于改进预训练模型的性能。

来自：帮助中心

查看更多 →