数据加工 数据复制服务 支持对同步的对象进行加工，即可以为选择的对象添加规则。各链路支持的加工规则不一样，目前仅部分链路支持数据加工，支持数据加工链路参考表1，具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL

查看更多 →

数据加工 更新指定任务数据加工规则 获取指定任务数据加工规则更新结果 查询数据加工规则 数据过滤规则校验 获取数据过滤校验结果 采集指定数据库表的列信息 获取指定数据库表列信息 父主题： API v5（公测中）

查看更多 →

批量数据加工 功能介绍 数据复制服务支持对同步的对象进行加工，即可以为选择的对象添加规则。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 接口约束 任务创建成功之后，且完成

查看更多 →

数据集市是面向数据应用为出发点，一个数据集市可以支持多个相关的数据应用。数据集市的作用与指标汇总层类似，但服务的目标系统只是指标汇总层的一部分，因此集市比指标汇总层更面向应用和用户。 集市层与指标汇总层类似，也是采用维度建模方式，常见的有星座模型、雪花模型等，只需要按实际应用需要设计、开发即可。

查看更多 →

添加工具类 在常规代码开发中，通常会将一些高频率用到的一些代码片段抽离出来业务代码，使其成为一个公共函数，减少重复的代码，从而达到代码复用的目的。 同样，在低代码开发中，不可避免地需要编写一些高代码进行组合开发，这里同样存在存储一些公共函数以供各处调用需求。工具类就是在这样的背景

查看更多 →

云日志服务支持通过创建DSL加工任务，将用户源日志流数据进行加工输出到目标日志流中，主要操作流程如下： 通过协同消费组对源日志流的数据进行读取。 通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流。数据加工完成后，您可以在目标日志流中查看加工后的数据。 功能特性

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

应用场景 数据仓库迁移 数据仓库是企业的重要数据分析系统，随着业务量的增长，自建数仓性能逐渐不能满足实际要求，同时扩展性差、成本高，也使扩容极为困难。 GaussDB (DWS)作为云上企业级数据仓库，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。 图1 数据仓库迁移

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

Warehouse Integration (DWI)又称数据整合层。DWI整合多个源系统数据，源系统进来数据会有整合、清洗，基于三范式关系建模。 DWR Data Warehouse Report (DWR)又称数据报告层。 DWR基于多维模型，和DWI层数据粒度保持一致。 DM Data

查看更多 →

具备实时、自助式、开放性三大核心竞争力。通过整合多源数据、关联全ID、扩展多实体的数据模型、构建客户分群和标签，同时结合强大的数据加工方式和数据输出能力，支撑企业丰富的数据应用，激发数据的真实价值。 平台级实时能力：支持秒级端到端的数据流，支持实时数据订阅输出 自助式数据加工：业务人员自主灵活完成标签建模，提升数据应用效率

查看更多 →

添加工作空间用户 功能介绍 添加工作空间用户。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/{workspace_id}/users 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。

查看更多 →

数据入图对账 系统默认只取数据实体所属领域默认图数据库与“数据仓库类型”为整合层的数据库首选映射对应的实例数据对账情况，其他领域的数据不取。 登录LinkX-F系统首页。 选择“数据联接 > 数据入图”，默认进入“数据入图任务”页面。 在左侧导航栏选择“数据入图对账”，默认显示“实时对账详情”。

查看更多 →

日志消费与加工 DSL加工（邀测） DSL数据加工语法（邀测） 操作符函数 全局操作函数 使用定时SQL进行日志加工 使用FunctionGraph服务提供的函数模板进行日志加工 日志生成指标（邀测） 使用消费组管理消费数据（邀测） 使用SDK-API消费日志（邀测）

查看更多 →

DSL加工（邀测） DSL加工概述 创建DSL加工任务 父主题： 日志消费与加工

查看更多 →

创建DSL加工任务 DSL（Domain Specific Language）加工是LTS为您提供的一站式日志加工平台，基于领域自定义的脚本语言和200多个内置函数，您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法（邀测）。

查看更多 →

table：表级迁移或同步。 枚举值： all database table target_root_db Object 数据库对象迁移或同步目标库，两层到三层数据库同步需要填写。 详情请参见表12。 object_info Map<String,DatabaseObject> 数据库对象迁移或

查看更多 →

日志加工（邀测） DSL加工的功能在邀测中，支持华北-北京四、华东-上海一、华南-广州局点，仅针对用户内测使用，后续将全网开放，敬请期待！ 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏

查看更多 →

另外2条是client_status和overall_type, 其他一样 content: { ...如上... } 基于content的JSON内容在第一层展开，并删除content字段。 e_json('content',depth=1) e_drop_fields("content") 处理后的日志格式如下：

查看更多 →

应用场景 该解决方案能帮助用户快速部署Smartbi平台，Smartbi是一站式BI大数据分析平台，可对接各种业务数据库、数据仓库和大数据分析平台，进行加工处理、分析挖掘和可视化展现；满足各种数据分析应用需求，如大数据分析、可视化分析、探索式分析、复杂报表、应用分享等等。 方案架构

查看更多 →