MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

导入筛重 本节显示所有导入客户的重复数据，管理员可以通过查看导入的重复数据，对重复数据进行分析处理。 单击菜单“客户—导入筛重”，操作区显示所有客户导入的重复数据，如下图所示： 图1 导入筛重 查询重复数据 管理员可以根据系统提供的查询字段进行查询。 操作步骤：输入客户名称或客户

查看更多 →

me，代表此job每间隔多长时间执行一次。 否 submit_all_redis_task(interval) 描述：对于当前连接数据库中所有未完成重分布的表调用函数submit_redis_task。 返回值类型：void 表3 submit_all_redis_task参数说明

查看更多 →

进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 商用 Hudi基本原理 Hudi快速入门 2 ClickHouse组件版本升级到21.3.4.25，支持数据重分布 ClickHouse节点扩容后，数据迁移可以使得

查看更多 →

只有在扩容之后，集群任务信息为“待重分布”状态时才能手动使用“重分布”功能，其他时段该功能不可使用。 在扩容阶段也可以选择重分布模式等高级配置。 重分布队列的排序依据表的relpage大小进行，为确保relpage大小正确，建议在重分布之前对需要重分布的表执行analyze操作。 调用方法 请参见如何调用API。

查看更多 →

在“异步复制”页面，单击待反向重保护的保护实例所在站点复制对的保护实例数。 进入对应站点复制对的保护组页面。 在左侧导航选择相应的保护组。 进入保护组详情页面。 在保护实例列表中，单击待反向重保护的保护实例所在行操作列的“更多 > 反向重保护”。 进入反向重保护页面。 单击“提交”开始反向重保护，实例状态变为“反向重保护中”。

查看更多 →

进入保护组详情页面。 在基本信息区域右上角，单击“更多 > 反向重保护”。 进入反向重保护页面。 勾选待反向重保护的保护实例。 单击“提交”开始反向重保护，实例状态变为“反向重保护中”。 等待1-2分钟，保护实例状态更改为“同步中”，并显示剩余待同步数据量以及预估剩余时间。 父主题： 管理保护组

查看更多 →

迁移作业原理 数据迁移模型 CDM 数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →

基本原理 通常UDP Flood的防御方式有两种，一种是动态指纹学习，一种是UDP限流，前者可能会将正常的业务载荷学习成攻击指纹，容易造成误杀，后者会将正常流量和攻击流量一起进行阻断，影响您的正常业务使用。 图1 设备防护原理图 如图2所示，华为云解决方案通过在UDP报文中增加水

查看更多 →

备份原理及方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 云数据库RDS通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比

查看更多 →

备份原理及方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 云数据库RDS通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比

查看更多 →

Tomcat 服务器 是免费的开放源代码的Web应用服务器。 Hadoop组件 底层执行Oozie编排流程的各个组件，包括MapReduce、Hive等。 Oozie原理 Oozie是一个工作流引擎服务器，用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序，运行在Tomcat容器中。 O

查看更多 →

依据实际情况输入重定义的告警信息，单击“确定”。 说明： 保存重定义告警信息之后，重定义告警状态由“未设置”更新为“已启用”。 清除重定义规则 说明： 在配置重定义告警之后，可以清除告警重定义规则。 可以通过以下三种方法清除重定义规则： 单击需要清除的指标所在行的。 勾选需要清除重定义目标数据，单击界面上方的“清除”。

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →

增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 MongoDB/DDS增量迁移 父主题： 进阶实践

查看更多 →

不同维度表的选择率，详情如表1所示。 表1 数据过滤 表名 原始数据条数 过滤后数据条数 选择率 date_dim 73000 6200 8.5% item 18000 19 0.1% 上述表格获取到原始表的数据条数，估算出过滤后的数据条数后，计算出选择率=过滤后条数/原始条数。

查看更多 →

背景和原理（对象） AstroZero提供的数据对象（Object）定义功能，对应传统方式开发业务系统中的创建数据库表。每个Object对应一张数据库表，用于保存业务系统需要的配置数据和业务数据。 对象用于存储组织或者业务特有的数据，可理解为数据库中的数据表（逻辑表，系统实际存储

查看更多 →

基于priority策略的资源碎片重调度场景化配套策略，即在同优先级场景下，优先选择扩容后可使节点可分配资源的CPU/内存比，更接近于所有已调度Pods的申请的CPU/内存比。 此策略基于集群中全局Pods/Nodes全局资源而非仅扩容节点部分，主要配套重调度等相关能力降低集群整体资源

查看更多 →

备份原理及方案 DDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 备份原理 集群实例 集群实例由dds mongos（路由）、Config（配置）和Shard（分片）组件构成。其中，Confi

查看更多 →

备份原理及方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 云数据库RDS通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比

查看更多 →

迁移作业原理 数据迁移模型 CDM数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →