AI&大数据

高精度,多场景,快响应,AI&大数据助力企业降本增效

 
 

    深度学习 多模型并行 更多内容
  • 预训练

    删除该环境变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型,还需要手动修改训练参数和tokenizer文件,具体请参见训练tokenizer文件说明。 模型参数设置规定: TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值

    来自:帮助中心

    查看更多 →

  • CodeArts IDE Online最佳实践汇总

    Online、TensorFlow和Jupyter Notebook开发深度学习模型 本实践主要讲解如何在CodeArts IDE Online中使用TensorFlow和Jupyter Notebook完成神经网络模型的训练,并利用该模型完成简单的图像分类。

    来自:帮助中心

    查看更多 →

  • 目标集群资源规划

    的数据。 文件存储卷: CCE支持创建SFS存储卷并挂载到容器的某一路径下,也可以使用底层SFS服务创建的文件存储卷,SFS存储卷适用于写的持久化存储,适用于多种工作负载场景,包括媒体处理、内容管理、大数据分析和分析工作负载程序等场景。 对象存储卷:CCE支持创建OBS对象

    来自:帮助中心

    查看更多 →

  • LoRA微调训练

    en系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 模型参数设置规定: TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值要被NPU数量(word_size)整除。 TP×CP的值要被模型参数中 num_attention_heads

    来自:帮助中心

    查看更多 →

  • LoRA微调训练

    en系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 模型参数设置规定: TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值要被NPU数量(word_size)整除。 TP×CP的值要被模型参数中 num_attention_heads

    来自:帮助中心

    查看更多 →

  • 确认学习结果

    确认学习结果 HSS学习完白名单策略关联的 服务器 后,输出的学习结果中可能存在一些特征不明显的可疑进程需要再次进行确认,您可以手动或设置系统自动将这些可疑进程确认并分类标记为可疑、恶意或可信进程。 学习结果确认方式,在创建白名单策略时可设置: “学习结果确认方式”选择的“自动确认可

    来自:帮助中心

    查看更多 →

  • 多模态模型推理性能测试

    模态模型推理性能测试 benchmark方法介绍 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx

    来自:帮助中心

    查看更多 →

  • 多模态模型推理性能测试

    模态模型推理性能测试 benchmark方法介绍 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx

    来自:帮助中心

    查看更多 →

  • 多模态模型推理性能测试

    模态模型推理性能测试 benchmark方法介绍 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx

    来自:帮助中心

    查看更多 →

  • SMP并行执行

    各个算子的并行情况。 非适用场景: 生成计划时间占比很高的短查询场景。 不支持CN上的算子并行。 不支持不能下推的查询并行执行。 不支持子查询subplan的并行,以及包含子查询的算子并行。 资源对SMP性能的影响 SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会

    来自:帮助中心

    查看更多 →

  • 验证并行查询效果

    验证并行查询效果 本章节使用TPCH测试工具测试并行查询对22条QUERY的性能提升情况。 测试的实例信息如下: 实例规格:32 vCPUs | 256 GB 内核版本:2.0.26.1 并行线程数:16 测试数据量:100GB 操作步骤 生成测试数据。 请在https://github

    来自:帮助中心

    查看更多 →

  • 预训练

    删除该环境变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型,还需要手动修改训练参数和tokenizer文件,具体请参见训练tokenizer文件说明。 模型参数设置规定: TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值

    来自:帮助中心

    查看更多 →

  • 附录:指令微调训练常见问题

    将yaml文件中的per_device_train_batch_size调小,重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级,可参考各个模型深度学习训练加速框架的选择,如原使用Accelerator可替换为Deepspeed-ZeRO-1,Deepspee

    来自:帮助中心

    查看更多 →

  • 模型使用指引

    小。在深度学习中,微调用于改进预训练模型的性能。 2 生成模型服务 将已有模型部署为模型服务 接入模型服务 支持通过API接入模型服务,同时支持将平台预置模型进行微调后,部署为模型服务,模型服务可以在创建Agent时使用或通过模型调用接口调用。 3 调测模型 通过调测模型,可检验

    来自:帮助中心

    查看更多 →

  • 恢复多版本归档或深度归档存储对象(Node.js SDK)

    恢复版本归档或深度归档存储对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云 对象存储服务 论坛中发帖求助。 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标

    来自:帮助中心

    查看更多 →

  • SFT全参微调训练

    en系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 模型参数设置规定: TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值要被NPU数量(word_size)整除。 TP×CP的值要被模型参数中 num_attention_heads

    来自:帮助中心

    查看更多 →

  • 大模型开发基本概念

    模型开发基本概念 大模型相关概念 概念名 说明 大模型是什么 大模型是大规模预训练模型的简称,也称预训练模型或基础模型。所谓预训练模型,是指在一个原始任务上预先训练出一个初始模型,然后在下游任务中对该模型进行精调,以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、

    来自:帮助中心

    查看更多 →

  • SFT全参微调训练

    en系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 模型参数设置规定: TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值要被NPU数量(word_size)整除。 TP×CP的值要被模型参数中 num_attention_heads

    来自:帮助中心

    查看更多 →

  • 什么是云容器引擎

    为什么选择云容器引擎 云容器引擎深度整合高性能的计算(E CS /BMS)、网络(VPC/EIP/ELB)、存储(EVS/OBS/SFS)等服务,并支持GPU、NPU、ARM等异构计算架构,支持可用区(Available Zone,简称AZ)、区域(Region)容灾等技术构建高可用Kubernetes集群。

    来自:帮助中心

    查看更多 →

  • 训练任务

    分布式训练任务 八爪鱼自动驾驶平台的机分布式训练功能可以帮助用户加快模型训练速度,提高训练效率,并支持更大规模的深度学习任务。通过多机分布式训练,用户可以将训练任务分配到多台计算机或服务器上并行进行,充分利用硬件资源,加快模型收敛速度,提高训练效果。平台支持多种深度学习框架,如TensorF

    来自:帮助中心

    查看更多 →

  • 预训练

    删除该环境变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型,还需要手动修改训练参数和tokenizer文件,具体请参见训练tokenizer文件说明。 模型参数设置规定: TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了