数据加工 数据复制服务 支持对同步的对象进行加工，即可以为选择的对象添加规则。各链路支持的加工规则不一样，目前仅部分链路支持数据加工，支持数据加工链路参考表1，具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL

查看更多 →

目标表设计：即数据集市结果表设计，根据数据应用的需求进行数据表设计 数据源分析：主要分析 数据仓库 的数据如何满足集市的需要，即确定需要数据仓库的那些表数据，如果数据仓库没有，则需要数据仓库进行数据补充 数据仓库表与目标表字段进行映射，确定加工规则 验证数据并调整加工规则 实施步骤 根据设计好的目标表，创建DM层物理表

查看更多 →

批量数据加工 功能介绍 数据复制服务支持对同步的对象进行加工，即可以为选择的对象添加规则。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 接口约束 任务创建成功之后，且完成

查看更多 →

添加工具类 在常规代码开发中，通常会将一些高频率用到的一些代码片段抽离出来业务代码，使其成为一个公共函数，减少重复的代码，从而达到代码复用的目的。 同样，在低代码开发中，不可避免地需要编写一些高代码进行组合开发，这里同样存在存储一些公共函数以供各处调用需求。工具类就是在这样的背景

查看更多 →

云日志服务支持通过创建DSL加工任务，将用户源日志流数据进行加工输出到目标日志流中，主要操作流程如下： 通过协同消费组对源日志流的数据进行读取。 通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流。数据加工完成后，您可以在目标日志流中查看加工后的数据。 功能特性

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据加工 更新指定任务数据加工规则 获取指定任务数据加工规则更新结果 查询数据加工规则 数据过滤规则校验 获取数据过滤校验结果 采集指定数据库表的列信息 获取指定数据库表列信息 父主题： API v5（公测中）

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

视频类加工算子介绍 数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。 平台支持视频类数据集的加工操作，分为数据提取、数据过滤、数据打标三类，视频类加工算子能力清单见表1。

查看更多 →

添加工作空间用户 功能介绍 添加工作空间用户。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/{workspace_id}/users 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。

查看更多 →

加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个 服务器 每隔1分钟写入一条日志，包含

查看更多 →

日志加工（邀测） 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化

查看更多 →

objects 数据加工规则响应体。 详情请参见表5。 count Integer 数据加工规则总数目。 表5 data_process_info字段数据结构说明 参数 参数类型 描述 filter_conditions Array of objects 指定任务数据加工规则请求体。 当进行数据过滤规则校验，必填

查看更多 →

外发加工 外发加工申请表 “新增”或使用下载的方式，将外发加工申请表录入或下载至金二系统，作为本地管理。 录入直接“新增”， 下载方式 详见“数据更新 ”； 外发加工申请表， 只需要申报表头信息。 图1 外发加工申请表 外发加工收发货单 “ 以企业为单元”企业，无需申报外发加工收发货单，在企业内部管理，待海关查厂

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 存算一体规格 存算一体

查看更多 →

支持 支持 告警 支持 支持 近期事件 支持 支持 集群监控指标（DMS） 支持（单机版不支持） 支持 数据 - 支持 支持 集群管理 SQL编辑器 支持 支持 监控面板（DMS） 支持（单机版不支持） 支持 查看监控指标（Cloud Eye） 支持（单机版不支持） 支持 重启 支持

查看更多 →

建新的数据加工任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的加工步骤。 图2 选择加工模板 加工步骤编排完成后，单击“启动加工”，将启动加工任务。 当数据加工任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成加工。 在完成数

查看更多 →

process_rule_level 否 String 数据加工规则作用级别 table 表示数据同步时的过滤 combinations 表示组合集，对多个表的操作 当进行数据过滤规则校验，必填 当需要更新数据加工规则（数据过滤、列加工等）时，必填 枚举值： table combinations

查看更多 →

气象类加工算子介绍 平台支持气象类数据集的加工操作，气象类加工算子能力清单见表1。 表1 气象类加工算子能力清单 算子分类 算子名称 算子描述 科学计算 气象预处理 将二进制格式的气象数据文件转换成结构化JSON数据。 父主题： 数据集加工算子介绍

查看更多 →

加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 管理加工后的数据集 父主题： 使用数据工程构建数据集

查看更多 →