数据清洗 去除空值 如果特征列中存在空值，“去除空值”操作可以去除掉空值所在行的样本数据。 去除空值有如下两个入口： 单击JupyterLab环境编辑界面右上角的图标，选择“数据处理 > 数据清洗 > 去除空值”。下文去除空值步骤使用此入口进行描述。 JupyterLab环境编辑区的“去除空值”快捷入口。

查看更多 →

数据清洗配置 目前提供了产品过滤、增改属性类、删除属性类、过滤消息类、增加消息类、规约消息类几个类型的数据清洗算子。增加清洗步骤的操作方式为，在算子节点上点击右键，可以看到”向前”、”向后”两个菜单，如图所示： 部分算子上仅显示”向前”或”向后”菜单，则说明该算子上仅可”向前”添加或”向后”添加算子。

查看更多 →

idcard 不符合身份证号码规范需过滤掉这些错误数据等等。 清洗定义中清洗规则为已知异常数据及处理方式，直接对数据进行处理，来源与目标数据量一致。 清洗定义中过滤规则将错误数据过滤掉，目标表数量可能小于来源表数量，对于这些质检产生的异常数据，通过质检工单形式告知部门，进行修正，中心无法直

查看更多 →

创建策略 在目标防护策略所在行的“操作”列中，单击“配置策略”。 在“清洗策略”配置框中，单击“设置”，如图2所示。 图2 清洗策略配置框 在弹出的“清洗策略设置”对话框中，设置流量清洗阈值，如图3所示。 图3 设置流量清洗阈值 单击“确定”。 父主题： 添加防护策略

查看更多 →

获取数据清洗模板 在清洗数据时，用户可以通过组合不同的数据清洗算子来实现数据清洗功能。此外，平台还提供多种数据清洗模板，用户可以直接套用这些模板进行数据清洗。 数据清洗模板获取方式如下： 登录盘古大模型套件平台。 在左侧导航栏中选择“数据工程 > 数据清洗”，进入“清洗模板”页面，在该页面查看预置的数据清洗模板。

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

案例 作为示例，让我们内联变量“message”，将其替换为其初始值设定项 “Hello!”。 重构前 重构后 父主题： 内联变量

查看更多 →

案例 作为示例，让我们将变量 “message” 重命名为“greeting”。 重构前 重构后 父主题： 变量重命名

查看更多 →

数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

案例 定位任意实体 定位类 查询某个类的成员 父主题： 代码搜索

查看更多 →

案例 作为示例，让我们提取字符串“Hello!”到一个新的消息变量中。 重构前 重构后 父主题： 引入变量

查看更多 →

BS；对上报的数据进行结构化，清洗然后存储到数据库；根据设备状态变化进行事件通知等。 该案例重点在如何组合IoTDA 与 FunctionGraph，关于如何在IoTDA 以及设备上进行设备管理和数据上报，需要用户进一步参考IoTDA的文档。在该案例中，我们使用IoTDA + FunctionGraph

查看更多 →

清洗算子功能介绍 数据清洗是提高数据质量的重要环节，包括去除异常的字符、去除表情符号和去除个人敏感内容等，经过清洗的数据可以提升训练阶段的稳定性。 平台支持通过以下清洗能力： 表1 清洗算子说明 算子类型 功能 说明 数据转换 全角转半角 将文本中的所有全角字符转换成半角字符。 中文繁简体互转

查看更多 →

%{} 是字段引用的语法，key1、key2、key3是要匹配的字段名。|convert_datatype是一个转换操作，表示在分割后对key3字段的数据类型进行转换（例如从字符串转为日期格式）。 field：指定了要进行分割操作的原始字段，这里是 “message”，即数据中的消息内容。

查看更多 →

%{} 是字段引用的语法，key1、key2、key3是要匹配的字段名。|convert_datatype是一个转换操作，表示在分割后对key3字段的数据类型进行转换（例如从字符串转为日期格式）。 field：指定了要进行分割操作的原始字段，这里是 “message”，即数据中的消息内容。

查看更多 →

清洗数据集（可选） 清洗算子功能介绍 获取数据清洗模板 创建数据集清洗任务 父主题： 准备盘古大模型训练数据集

查看更多 →

数据仓库规格 GaussDB (DWS)的规格按照产品类型分为标准数仓和实时数仓。其中实时数仓还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 标准数仓（DWS 2.0）规格 标准数仓（DWS 2.0）云盘规格，该规格弹性伸缩，无限算力、无限容量，规格详情请参见表1。

查看更多 →

缩容 支持 支持 支持 不支持 重分布 支持 支持，备注1 支持 不支持 查看重分布详情 支持 支持 支持 不支持 弹性变更规格 支持 支持 支持 支持 经典变更规格 支持 不支持 支持 不支持 重置密码 支持 支持 支持 支持 创建快照 支持 支持 支持 不支持 解除只读 支持 支持

查看更多 →

确认参数填写无误后，单击“创建”，完成数据处理任务的创建。 数据清洗算子（PCC算子） ModelArts的数据清洗通过PCC算子实现。图像分类或者物体检测的数据集中可能存在非所需类别的图像，需要将这些图像去除掉，以免对标注、模型训练造成干扰。 图5 PCC算子效果 参数说明 表1 数据清洗-PCC算子参数说明 参数名

查看更多 →

多次从同一备份（xfs类型文件系统备份）创建云硬盘并挂载到同一个 服务器 ，且该服务器已挂载多个云硬盘（xfs类型文件系统）。当在系统中执行mount命令挂载此类云硬盘时，云硬盘会挂载失败。云硬盘（xfs类型文件系统）的superblock中存储了该文件系统的唯一标识UUID，当服务器挂载多块云硬盘时，服务器上存在多个相同的UUID，导致云硬

查看更多 →