华为云11.11 AI&大数据分会场

高精度,多场景,快响应,AI&大数据助力企业降本增效

 
 

    AI自定义模型训练 更多内容
  • 选择模型与训练方法

    功能模型无需额外训练即可直接用于客户任务,而基模型则需要经过微调训练才能应用。NLP大模型不仅支持预训练和微调,还可以通过如下训练途径来构建满足客户需求的“用户模型”。 图1 NLP大模型训练方式与流程 除基模型、功能模型这两种模型划分途径外,NLP大模型还提供了多种系列的模型,不同系列模型在能力上有所差异,可执行的训练操作也有所不同。

    来自:帮助中心

    查看更多 →

  • 预训练

    已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。 当训练作

    来自:帮助中心

    查看更多 →

  • 预训练

    已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。 当训练作

    来自:帮助中心

    查看更多 →

  • 预训练

    heckpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。 当训练作业发生故障中断本次作业时,代码可自动从训练中断的位置接续训练,加载中断生成的checkpoint,中间不需要改动任何参数。

    来自:帮助中心

    查看更多 →

  • 预训练

    模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。 当训练作业发生故障中断本次作业时,代码可自动从训练中断的位置接续训练,加载中断生成的checkpoint,中间不需要改动任何参数。

    来自:帮助中心

    查看更多 →

  • ModelArts入门实践

    Standard的自动学习功能完成“图像分类”AI模型训练和部署。 面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产,让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“物体检测”AI模型训练和部署。依

    来自:帮助中心

    查看更多 →

  • 从基模型训练出行业大模型

    从基模型训练出行业大模型 打造短视频营销文案创作助手 打造政务智能问答助手 基于NL2JSON助力金融精细化运营

    来自:帮助中心

    查看更多 →

  • 自定义镜像使用场景

    制作自定义镜像用于训练模型 如果您已经在本地完成模型开发或训练脚本的开发,且您使用的AI引擎是ModelArts不支持的框架。您可以制作自定义镜像,并上传至SWR服务。您可以在ModelArts使用此自定义镜像创建训练作业,使用ModelArts提供的资源训练模型。 制作自定义镜像用于推理

    来自:帮助中心

    查看更多 →

  • 预训练

    对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

    来自:帮助中心

    查看更多 →

  • LoRA微调训练

    已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。 当训练作

    来自:帮助中心

    查看更多 →

  • SFT全参微调训练

    已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中,不断地保存训练结果(包括但不限于EPOCH、模型权重、优化器状态、调度器状态)。即便模型训练中断,也可以基于checkpoint接续训练。 当训练作

    来自:帮助中心

    查看更多 →

  • SFT全参微调训练

    ,可添加并自定义该变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型,还需要手动修改训练参数和tokenizer文件,具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动

    来自:帮助中心

    查看更多 →

  • LoRA微调训练

    ,可添加并自定义该变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型,还需要手动修改训练参数和tokenizer文件,具体请参见训练tokenizer文件说明。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方

    来自:帮助中心

    查看更多 →

  • 查询训练作业下的成功模型

    查询训练作业下的成功模型 功能介绍 查询训练作业下的成功模型 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-job-instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id

    来自:帮助中心

    查看更多 →

  • 创建算法

    算法代码存储的OBS路径。训练代码、依赖安装包或者预生成模型训练所需文件上传至该代码目录下。如果自定义镜像中不含训练代码则需要配置该参数,如果自定义镜像中已包含训练代码则不需要配置。 请注意不要将训练数据放在代码目录路径下。训练数据比较大,训练代码目录在训练作业启动后会下载至后台,可能会有下载失败的风险。

    来自:帮助中心

    查看更多 →

  • 自定义镜像规范

    如果自定义镜像要支持训练,则需要满足自定义镜像规范(训练)。 如果自定义镜像要支持推理,则需要满足自定义镜像规范(推理)。 上架自定义镜像,操作步骤请参考发布模型AI Gallery。 在AI Gallery进行自定义镜像训练或推理。使用AI Gallery微调大师训练模型或使用AI Gallery在线推理服务部署模型。

    来自:帮助中心

    查看更多 →

  • 创建自定义事件模型

    创建自定义事件模型 事件模型(Schema)用于定义事件的结构。事件网格支持的事件模型如下: 云服务事件模型:事件网格为华为云服务事件源产生的事件提供Schema。每个华为云服务事件源的事件类型对应一个云服务事件模型自定义事件模型:针对发送到自定义通道的事件,您可以自定义Sc

    来自:帮助中心

    查看更多 →

  • 编辑自定义事件模型

    单击待编辑自定义事件模型后的“编辑”,弹出“编辑自定义事件模型”对话框。 单击待编辑自定义事件模型的标识,进入自定义事件模型详情页。单击“编辑”,弹出“编辑自定义事件模型”对话框。 根据实际需求,修改自定义事件模型的描述信息、版本兼容方法和版本内容,单击“确定”。 父主题: 自定义事件模型

    来自:帮助中心

    查看更多 →

  • 删除自定义事件模型

    删除自定义事件模型 本章节指导您在控制台里删除自定义事件模型。 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件模型”,进入“事件模型”页面。 在“自定义事件模型”页签中,通过以下任意一种方式删除自定义事件模型。 单击待删除自定义事件模型后的“删除”,弹出“删除事件模型”对话框。

    来自:帮助中心

    查看更多 →

  • ModelArts

    Code远程使用Notebook实例 算法管理 创建算法 训练模型 创建生产训练作业 创建调试训练作业 查看训练作业日志 分布式训练 创建AI应用 简介 管理AI应用 部署AI应用 部署为在线服务 部署为批量服务 规范示例 使用自定义镜像 模型包规范 自定义脚本代码示例 09 API 通过Mode

    来自:帮助中心

    查看更多 →

  • 在ModelArts上训练模型,输入输出数据如何配置?

    模型训练结束后,训练模型以及相关输出信息需保存在OBS路径。“输出”数据默认配置为模型输出,代码参数为“train_url”,也支持用户根据1的算法代码自定义输出路径参数。 在创建训练作业时,填写输入路径和输出路径。 训练输入选择对应的OBS路径或者数据集路径,训练输出选择对应的OBS路径。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了