数据加工 数据复制服务 支持对同步的对象进行加工，即可以为选择的对象添加规则。各链路支持的加工规则不一样，目前仅部分链路支持数据加工，支持数据加工链路参考表1，具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL

查看更多 →

批量数据加工 功能介绍 数据复制服务支持对同步的对象进行加工，即可以为选择的对象添加规则。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 接口约束 任务创建成功之后，且完成

查看更多 →

数据加工 更新指定任务数据加工规则 获取指定任务数据加工规则更新结果 查询数据加工规则 数据过滤规则校验 获取数据过滤校验结果 采集指定数据库表的列信息 获取指定数据库表列信息 父主题： API v5（公测中）

查看更多 →

云日志服务支持通过创建DSL加工任务，将用户源日志流数据进行加工输出到目标日志流中，主要操作流程如下： 通过协同消费组对源日志流的数据进行读取。 通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流。数据加工完成后，您可以在目标日志流中查看加工后的数据。 功能特性

查看更多 →

添加工具类 在常规代码开发中，通常会将一些高频率用到的一些代码片段抽离出来业务代码，使其成为一个公共函数，减少重复的代码，从而达到代码复用的目的。 同样，在低代码开发中，不可避免地需要编写一些高代码进行组合开发，这里同样存在存储一些公共函数以供各处调用需求。工具类就是在这样的背景

查看更多 →

添加工作空间用户 功能介绍 添加工作空间用户。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/{workspace_id}/users 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。

查看更多 →

日志加工（邀测） DSL加工的功能在邀测中，支持华北-北京四、华东-上海一、华南-广州局点，仅针对用户内测使用，后续将全网开放，敬请期待！ 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏

查看更多 →

加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个 服务器 每隔1分钟写入一条日志，包含

查看更多 →

objects 数据加工规则响应体。 详情请参见表5。 count Integer 数据加工规则总数目。 表5 data_process_info字段数据结构说明 参数 参数类型 描述 filter_conditions Array of objects 指定任务数据加工规则请求体。 详情请参见表6。

查看更多 →

。因此使用的总内存可能是work_mem的好几倍。 参数类型：USERSET 取值范围：整型，64~INT_MAX，单位为KB。 默认值：小规格内存为512MB， 大规格内存为2GB（max_process_memory大于等于30GB为大规格内存，否则为小规格内存）。 设置建议：

查看更多 →

200（196核CPU/1536G内存，128核CPU/1024G内存，104核CPU/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存，8核C

查看更多 →

U/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存，8核CPU/64G内存，4核CPU/32G内存）；128kB（4核CPU/16G内存）

查看更多 →

加工数据集 数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工视频类数据集 加工图片类数据集 加工气象类数据集 父主题： 使用数据工程准备与处理数据集

查看更多 →

日志消费与加工 DSL加工（邀测） DSL数据加工语法（邀测） 使用定时SQL进行日志加工 使用FunctionGraph服务提供的函数模板进行日志加工 日志生成指标（邀测） 使用消费组管理消费数据（邀测） 使用SDK-API消费日志（邀测）

查看更多 →

DSL加工（邀测） DSL加工概述 创建DSL加工任务 父主题： 日志消费与加工

查看更多 →

白名单功能，数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。 所有：从源日志流按收到第一条日志的时间开始数据加工任务，直到加工任务被手动停止。 某时间开始：指定数据加工任务的开始时间，从该时间点开始加工，直到加工任务被手动停止。 特定时间范围：指定数据

查看更多 →

level1：动态内存使用超过最大动态内存的90%后，会记录以下信息，并将记录的内存信息保存在$GAUSS LOG /mem_log目录下。 全局内存概况。 instance，session，thread三种类型的所有内存上下文中内存占用前20的内存上下文的内存使用情况。 每个内存上下文的totalsize、freesize字段。

查看更多 →

32MB（128核CPU/1024G内存，104核CPU/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存）；16MB（72核CPU/576G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存，8核CPU/64G内存）

查看更多 →

内存 介绍与内存相关的参数设置。 本节涉及的参数仅在数据库服务重新启动后生效。 enable_memory_limit 参数说明：启用逻辑内存管理模块。 参数类型：POSTMASTER 取值范围：布尔型 on表示启用逻辑内存管理模块。 off表示不启用逻辑内存管理模块。 默认值：on

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

内存 文档数据库服务DDS实例可以使用的内存上限。 父主题： 常用概念

查看更多 →