自增主键达到上限，无法插入数据 场景描述 插入数据时报错 ERROR 1062 (23000): Duplicate entry 'xxx' for key 'xxx'。 原因分析 自增主键的字段取值达到上限，无法继续增长，导致新插入的数据生成的自增主键值与表中上一条数据相同，因为自增主键的值不可重复，插入失败报错。

查看更多 →

即使用训练数据集和验证数据集训练模型。 使用MaaS调优模型 模型压缩 在ModelArts Studio大模型即服务平台支持对自定义模型进行模型压缩，以此提升推理服务性能、降低部署成本。 使用MaaS压缩模型 4 模型部署 ModelArts Studio大模型即服务平台支持将

查看更多 →

训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤

查看更多 →

池、电机、电控数据分析预测系统。解决方案架构图如下： 图1 方案架构图 该解决方案会部署如下资源： 创建两个 对象存储服务 OBS桶，一个用于存储训练数据集及ModelArts算法、推理脚本、配置文件、模型数据。另一个用于存储数据集及数据集预测结果。 使用AI开发平台ModelAr

查看更多 →

OBS桶，一个用于存储训练数据集及ModelArts算法、推理脚本、配置文件、模型数据；另一个用于存储数据集及数据集预测结果。 使用AI开发平台ModelArts，用于机器学习模型训练，预测汽车价值评估结果。 使用 函数工作流 FunctionGraph创建一个函数，进行数据处理并调用Mo

查看更多 →

华为云数据治理平台 数据治理总体架构 数据治理中心 DataArtsStudio https://support.huaweicloud.com/dataartsstudio/index.html 数据湖探索 DLI https://support.huaweicloud.com/dli/index

查看更多 →

标准化，从而提升数据质量和易用性。 数据建模 构建统一的数据模型体系，通过规范定义和数据建模，自顶向下构建企业数据分层体系，沉淀企业数据公共层和主题库，便于数据的流通、共享、创造、创新，提升数据使用效率，极大的减少数据冗余，混乱，隔离，不一致以及谬误等。 DataArts Studio 数据架构支持的数据建模方法有：

查看更多 →

createModelArtsTrainVersion 停止训练作业 ModelArtsTrainJob stopModelArtsTrainVersion 更新训练作业描述 ModelArtsTrainJob updateModelArtsTrainDesc 删除训练作业版本 ModelArtsTrainJob

查看更多 →

提供坚实的数据基础。 数据工程所包含的具体功能如下： 数据获取：数据获取是数据工程的第一步，涉及从不同来源和格式的数据导入到平台。ModelArts Studio大模型开发平台提供多种高效灵活的数据接入方式，支持本地上传、通过OBS服务将数据导入平台。平台支持的多种数据类型包括文

查看更多 →

|── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights #

查看更多 →

场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。

查看更多 →

_filter方法，处理原始数据集中的单一sample，其余方法复用基类的实现。 GeneralPretrainHandler解析 GeneralPretrainHandler是处理预训练数据集的一个类，继承自BaseDatasetHandler，实现对alpaca格式预训练数据集的处理。 def

查看更多 →

_filter方法，处理原始数据集中的单一sample，其余方法复用基类的实现。 GeneralPretrainHandler解析 GeneralPretrainHandler是处理预训练数据集的一个类，继承自BaseDatasetHandler，实现对alpaca格式预训练数据集的处理。 def

查看更多 →

自增主键达到上限，无法插入数据 场景描述 插入数据时报错 ERROR 1062 (23000): Duplicate entry 'xxx' for key 'xxx'。 原因分析 自增主键的字段取值达到上限，无法继续增长，导致新插入的数据生成的自增主键值与表中上一条数据相同，因为自增主键的值不可重复，插入失败报错。

查看更多 →

自增主键达到上限，无法插入数据 场景现象 插入数据时报错：ERROR 1062 (23000): Duplicate entry 'xxx' for key 'xxx' 原因分析 自增主键的字段取值达到上限，无法继续增长，导致新插入的数据生成的自增主键值与表中上一条数据相同，因为自增主键的值不可重复，插入失败报错。

查看更多 →

createModelArtsTrainVersion 停止训练作业 ModelArtsTrainJob stopModelArtsTrainVersion 更新训练作业描述 ModelArtsTrainJob updateModelArtsTrainDesc 删除训练作业版本 ModelArtsTrainJob

查看更多 →

于模型训练的数据，上传至OBS中。 准备数据 选择数据 在使用通用图像分类工作流开发应用时，您需要新建或导入训练数据集，后续训练模型操作是基于您选择的训练数据集。 由于模型训练过程需要有标签的数据，如果您上传未标注数据，需要手动标注数据。 选择数据 训练模型 选择训练数据后，无需

查看更多 →

Lite Server和ModelArts Lite Cluster使用的都是专属资源池。 MoXing MoXing是ModelArts自研的组件，是一种轻型的分布式框架，构建于TensorFlow、PyTorch、MXNet、MindSpore等深度学习引擎之上，使得这些计算

查看更多 →

通。 图2 不同子网NPU卡间的网络 智能调度 AI大模型训练会将训练任务切分到多个计算节点进行分布式并行训练，会在节点之间引入复杂的通信行为，导致训练效率下降，智能调度通过考虑分布式训练通信的复杂性和集群带宽多级收敛的特性，根据大模型训练任务特征，并行度及可用资源拓扑信息，提供

查看更多 →

。 同时，您可以体验平台预置的Agent，享受AI带来的便利和乐趣。 数据管理 除平台预置的数据集外，同时还支持创建知识数据集和微调数据集。丰富的知识数据集及强大的索引配置是构建专业化、结构化知识库的基础；微调数据集是模型微调的基础，通过在微调数据集上进行训练，您可以获得改进后的新模型以适应特定任务。

查看更多 →

网络结构及模型参数配置2 模型训练 模型训练多维度可视化监控，包括训练精度/损失函数曲线、GPU使用率、训练进度、训练实时结果、训练日志等。 图15 训练指标和中间结果可视化 图16 训练过程资源监控 支持多机多卡环境下的模型分布式训练，大幅度提升模型训练的速度，满足海量样本数据加速训练的需求。 图17

查看更多 →