预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中，脚本具体内容如下。

查看更多 →

预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本baichuan2.sh，存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前，可以根据实际需要修改超参配置。 表1 超参配置

查看更多 →

标注是KPI异常检测非常重要的数据，可以提升监督学习训练过程中KPI检测准确率，在无监督学习中做算法验证评估： 监督学习：使用标注工具对原始数据进行标注，并将标注数据用于训练。用户基于训练结果进行确认和重新标注，并将标注数据重新用于训练，提升KPI检测准确率。 无监督学习：使用标注工具对原始数据进

查看更多 →

练模型”，并配置训练参数，开始训练模型。 预训练模型 当前服务提供预置预训练模型“高精版”、“均衡版”、“基础版”，在“预训练模型”列表中可查看“模型精度”、“推理速度”、“训练速度”和模型“简介”。 参数配置 在“参数配置”填写“学习率”和“训练轮次”。 “学习率”用来控制模型的学习速度，范围为(0

查看更多 →

训练模型”，并配置训练参数，开始训练模型。 预训练模型 当前服务提供预置预训练模型“高精版”、“均衡版”、“基础版”，在“预训练模型”列表中可查看“模型精度”、“推理速度”、“训练速度”和模型“简介”。 参数配置 在“参数配置”填写“学习率”、“训练轮次”和“语种”。 “学习率”用来控制模型的学习速度，范围为(0

查看更多 →

Pro>视觉套件”控制台选择“我的工作流>无监督车牌检测工作流”新建应用，详细操作请见新建应用。您可以开发车牌检测模型，自主上传数据训练模型，实现车牌检测和识别功能。 图1 无监督车牌检测工作流流程 表1 无监督车牌检测工作流说明 流程 说明 详细指导 准备数据 在使用无监督车牌检测工作流开发应用之

查看更多 →

xgboost是有监督的算法。模型推荐里面增加了超参搜索的功能，有给出参数取值的推荐区间。用户也可以根据实际情况修改。 如果推荐的是无监督的异常检测算法，可能会同时推荐几个算法。那模型训练的时候，针对不同的算法，会分别进行模型训练，得到不同的模型，通过集成学习投票法策略，推荐得到更符合且更准确的异常检测模型。

查看更多 →

先单击“重量级深度学习”，然后单击“联系我们”。 图2 重量级深度学习 编辑模型信息。 轻量级深度学习：选填“模型描述”。 图3 轻量级深度学习 重量级深度学习：选择量级“中量级”或“重量级”，选填“模型描述”。 中量级：训练时长约为轻量级的3-5倍；模型精度较轻量级提升约20%

查看更多 →

ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后，数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带来负面影响，开发过程通常需要进行数据处理。

查看更多 →

AI开发基本概念 机器学习常见的分类有3种： 监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。常见的有回归和分类。 非监督学习：在未加标签的数据中，试图找到隐藏的结构。常见的有聚类。 强化学习：智能系统从环境到行为映射的学习，以使奖励信号（强化信号）函数值最大。

查看更多 →

于AI智能引擎的算法能力：IAM异常检测、DGA检测、DNS挖矿木马检测、DNS可疑 域名 检测。针对不同检测目标，利用有监督、无监督深度神经网络、马尔科夫等算法训练7种AI模型，结合特征规则、分布统计以及外部输入的威胁情报，综合构建检测系统，有效提升威胁分析效率和准确性。 智能化威胁响应

查看更多 →

准备模型适用的容器镜像，包括容器内资源检查 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。 微调训练 SFT微调训练 介绍如何进行SFT微调训练。 LoRA微调训练 介绍如何进行LoRA微调训练。 推理前的权重转换 - 模型训练完成后，可以将训练产生的权重文件用

查看更多 →

请求失败时的错误信息，请求成功时无此字段。 error_code String 请求失败时的错误码，请求成功时无此字段。 job_id Long 训练作业的ID。 job_name String 训练作业的名称。 create_time Long 训练作业的创建时间。 示例 请求示例

查看更多 →

管理，特别是深度学习的大数据集，让训练结果可重现。 极“快”致“简”模型训练 自研的MoXing深度学习框架，更高效更易用，有效提升训练速度。 多场景部署 支持模型部署到多种生产环境，可部署为云端在线推理和批量推理，也可以直接部署到端和边。 自动学习 支持多种自动学习能力，通过“

查看更多 →

ModelArts与DLS服务的区别？ 深度学习服务（DLS）是基于华为云强大高性能计算提供的一站式深度学习平台服务，内置大量优化的网络模型，以便捷、高效的方式帮助用户轻松使用深度学习技术，通过灵活调度按需服务化方式提供模型训练与评估。 但是，DLS服务仅提供深度学习技术，而ModelArts集成了深度学习和机器

查看更多 →

自动学习项目中，如何进行增量训练？ 在自动学习项目中，每训练一次，将自动产生一个训练版本。当前一次的训练结果不满意时（如对训练精度不满意），您可以适当增加高质量的数据，或者增减标签，然后再次进行训练。 增量训练目前仅支持“图像分类”、“物体检测”、“声音分类”类型的自动学习项目。

查看更多 →

分身数字人驱动算法可以应用于真人视频自动生成，包括新闻播报、课件制作等场景，以取代真人视频拍摄，提升视频内容生产效率。 算法目的意图 可以使用授权过的真人视频，在预训练模型基础上，生成真人数字人驱动模型。该模型可基于音频生成口型匹配的数字人视频，实现真人视频自动生成，包括新闻播报、课件制作等场景，以取代真人视频拍摄，提升视频内容生产效率。

查看更多 →

集，不支持启动主动学习和自动分组任务，支持预标注任务。 “智能标注”是指基于当前标注阶段的标签及图片学习训练，选中系统中已有的模型进行智能标注，快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手

查看更多 →

刹车盘识别工作流 无监督车牌检测工作流 根据工作流指引，开发无监督车牌检测服务，通过上传训练数据，训练生成车牌检测模型，自主更新和调整模型精度，实现高精度的车牌检测功能。 无监督车牌检测工作流 第二相面积含量测定工作流 根据工作流指引，开发第二相面积含量测定服务，通过上传训练数据，训练生成模

查看更多 →

超过最大递归深度导致训练作业失败 问题现象 ModelArts训练作业报错： RuntimeError: maximum recursion depth exceeded in __instancecheck__ 原因分析 递归深度超过了Python默认的递归深度，导致训练失败。 处理方法

查看更多 →

概要 本章节主要讲解如何在CodeArts IDE Online中使用TensorFlow和Jupyter Notebook完成神经网络模型的训练，并利用该模型完成简单的图像分类。 父主题： 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型

查看更多 →