模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed)

查看更多 →

模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed)

查看更多 →

ModelArts与DLS服务的区别？ 深度学习服务（DLS）是基于华为云强大高性能计算提供的一站式深度学习平台服务，内置大量优化的网络模型，以便捷、高效的方式帮助用户轻松使用深度学习技术，通过灵活调度按需服务化方式提供模型训练与评估。 但是，DLS服务仅提供深度学习技术，而ModelArts集成了深度学习和机器

查看更多 →

作业发起方配置 TICS 的横向联邦学习作业，启动训练； 模型参数、梯度数据在TI CS 提供的安全聚合节点中进行加密交换； 训练过程中，各参与方计算节点会在本地生成子模型，由TICS负责安全聚合各子模型的参数，得到最终的模型； 空间的整体配置通过空间管理员进行统一管理。 父主题： 横向联邦学习场景

查看更多 →

自动学习简介 自动学习功能介绍 ModelArts自动学习是帮助人们实现模型的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。

查看更多 →

气象类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单

查看更多 →

查询算子列表 功能介绍 查询算子列表 URI GET /v1.0/{project_id}/data/processors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数 参数 是否必选

查看更多 →

”分隔保存到关系型数据库。 算子简介 Loader算子包括以下类型： 输入算子 数据转换的第一步，负责将数据转换成字段，每次转换有且只能有一种输入算子，涉及HBase或Hive导入导出时，必须填写。 转换算子 数据转换的中间转换步骤，属于可选类型，各个转换算子可任意搭配使用。转换算子是针对字段而

查看更多 →

Iterator算子消除 场景描述 在当前分区表架构中，执行器通过Partition Iterator算子去迭代访问每一个分区。当分区剪枝结果只有一个分区时，Partition Iterator算子已经失去了迭代器的作用，在此情况下消除Partition Iterator算子，可以避免

查看更多 →

Tensorflow算子边界 “.om”模型支持的Tensorflow算子边界如表1所示。 表1 TensorFlow算子边界 序号 Python API C++ API 边界 1 tf.nn.avg_pool AvgPool Type：Mean 【参数】 value：4-D t

查看更多 →

分区算子执行优化 Partition Iterator算子消除 Merge Append Max/Min 分区导入数据性能优化 父主题： 分区表查询优化

查看更多 →

FlinkSQL Lookup算子复用 本章节适用于 MRS 3.5.0及以后版本。 使用场景 将Lookup Join的结果写入到多个sink端时，无需为每个sink复制一个Lookup join算子，提高作业的执行效率。 使用方法 配置Flink作业时，可通过在FlinkServer

查看更多 →

FlinkSQL支持MultiJoin算子使用限制 MultiJoin算子只支持FULL OUTER JOIN和INNER JOIN语法。 MultiJoin算子只支持等值关联。如果有非等值过滤条件，可以使用view提前过滤。 MultiJoin算子多表关联时所有的表关联键要一致。 MultiJoin算子仅支持table

查看更多 →

分区算子执行优化 Partition Iterator算子消除 Merge Append Max/Min 分区导入数据性能优化 父主题： 分区表查询优化

查看更多 →

配置入口API算子 入口API算子是API工作流的入口，工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 表1 入口API算子 参数 说明 API名称 入口API名称即API工作流名称。

查看更多 →

truncate_fields、urldecode。 其他算子介绍如表1所示。 表1 算子介绍 算子 算子能力 算子样例 equals 比较字段是否具有特定值，只接受整数或字符串值，常和concat、when、and等算子组合使用。 例如：如果message中的type="CLI"，then接后续逻辑。

查看更多 →

官方算子一览 本小节介绍华为云自有服务提供的各类算子的参数配置说明。 不同区域支持的算子可能不同，请以控制台实际为准。 表1 华为云官方算子一览 分类 模板名称 是否支持同步工作流 算子提供方 图像处理 图像标签 是 图像识别服务Image 人脸检测 是 人脸识别服务 FRS 人脸搜索

查看更多 →

Caffe算子边界 对于Caffe框架，当算子的输入维度不是4时，如果存在axis参数，不能使用负数。 “.om”模型支持的Caffe算子边界如表1所示。 表1 Caffe算子边界 序号 算子 含义 边界 1 Absval 对输入求绝对值 【输入】 1个输入 【参数】 engin

查看更多 →

Iterator算子消除 场景描述 在当前分区表架构中，执行器通过Partition Iterator算子去迭代访问每一个分区。当分区剪枝结果只有一个分区时，Partition Iterator算子已经失去了迭代器的作用，在此情况下消除Partition Iterator算子，可以避免

查看更多 →

计算子集群函数 pv_compute_pool_workload() 描述：返回计算子集群当前的负载状态。 返回类型：void 示例： 1 2 3 4 5 6 SELECT * from pv_compute_pool_workload(); nodename | rpinuse

查看更多 →

计算子集群函数 pv_compute_pool_workload() 描述：返回计算子集群当前的负载状态。 返回类型：void 示例： SELECT * from pv_compute_pool_workload(); nodename | rpinuse | maxrp |

查看更多 →