操作步骤如下所示。 数据过滤有如下两个入口： 单击JupyterLab环境编辑界面右上角的图标，选择“数据处理 > 数据清洗 > 数据过滤”。 JupyterLab环境编辑区的“数据过滤”快捷入口。 单击界面右上角的图标，选择“数据处理 > 数据清洗 > 数据过滤”，界面新增“数据过滤”内容。

查看更多 →

段。 数据过滤 根据设置的条件过滤数据，满足条件的数据则输出，不满足条件的数据将被丢弃。 添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图： 使用该配置过滤出batteryLevel不等于0且batteryVoltage大于100的数据。 数据过滤算子

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

“是否写入脏数据”选择为“是”时，该参数才显示。 OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数

查看更多 →

“是否写入脏数据”选择为“是”时，该参数才显示。 OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数

查看更多 →

则后台自动计算特征数据最小值。 默认值为“None”。即用户不输入数据最小值。 数据最大值 需要做归一化处理的特征数据最大值或者特征理论上可以取到的最大值。如果用户输入，则直接从界面获取，否则后台自动计算特征数据最大值。 默认值为“None”。即用户不输入数据最大值。 当前操作流

查看更多 →

数据转换 “数据转换”连接器用于数据流的格式转换，当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式，可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据，请参考引用变量。

查看更多 →

数据转换 “数据转换”连接器用于数据流的格式转换，当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式，可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据，请参考引用变量。

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 存算一体规格 存算一体

查看更多 →

的OBS外表，将两个数据库关联在同一个数据目录下进行数据查询。 功能特性对比 表1 功能特性对比 功能模块 功能模块 存算一体 存算分离 总览 资源 支持 支持 告警 支持 支持 近期事件 支持 支持 集群监控指标（DMS） 支持（单机版不支持） 支持 数据 - 支持 支持 集群管理

查看更多 →

事件抽取 功能介绍 事件抽取是指从自然语言文本中抽取指定类型的事件以及相关实体信息，并形成结构化数据输出的文本处理技术。 目前只支持金融公告中会议召开、聘任、辞职、股票增持、股票减持5类事件以及相关要素的抽取。 本API免费调用，调用限制为2次/秒。 调试 您可以在 API Explorer 中调试该接口。

查看更多 →

检测”。 设置数据处理类型选择“数据校验”，填写相应算子的设置参数，算子的详细参数参见数据清洗算子（PCC算子）。 图2 设置场景类别和数据处理类型 设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。设置为“数据集”时，需填写“数据集名称”和“数据集版本”；设置为

查看更多 →

服务范围 本项目华为云数据仓库专家服务包括以下一项或多项内容： 华为云数据仓库产品咨询服务 华为云数据仓库平台安装部署规划与实施 数据仓库迁移方案设计与实施支持 基于华为云数据仓库平台的开发支持 本项目华为云数据仓库专家服务不包括以下内容： 应用程序改造、应用程序设计、数据库逻辑结构设计

查看更多 →

创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →

数据仓库错误码 SQL标准错误码说明 第三方库错误码说明 GAUSS-00001 -- GAUSS-00100 GAUSS-00101 -- GAUSS-00200 GAUSS-00201 -- GAUSS-00300 GAUSS-00301 -- GAUSS-00400 GAUSS-00401

查看更多 →

指的是一种规则和逻辑的集合，用于描述如何从源数据抽取、转换和加载到目标数据仓库中的过程。映射定义了源系统中的数据如何映射到目标系统中，以满足数据仓库的数据需求和分析目标。 做Mapping的目的如下： 数据转换： 数据从源系统到数据仓库的过程中，往往需要进行各种数据转换，包括单位转换、日期格式标准化、数据清洗、计算等

查看更多 →

数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti

查看更多 →

段”表示基础数据中的字段名，在抽取函数中引用字段时，使用格式为“${字段}”，例如抽取基础数据中属性“name”的字段，在抽取函数中引用字段的格式为“trim(${name})”。 表1 信息抽取函数说明表 抽取函数 函数说明 抽取函数示例 抽取前数据示例 抽取后数据示例 trim（字段）

查看更多 →

数据仓库服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定弹性公网IP DWS集群运维时间窗检查 DWS集群VPC检查 父主题： 系统内置预设策略

查看更多 →