phase之间，当Map的输出结果要被Reduce使用时，每一条输出结果需要按key哈希，并且分发到对应的Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和 MRS 大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker

查看更多 →

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

配置CDN下载 操作步骤 登录OBS Browser。 选中待操作的桶，在桶列表上方单击“更多>配置CDN下载”，系统弹出“配置CDN下载”对话框。 在待配置的用户 域名 所在行后面，勾选“启用CDN下载”。 单击“确定”。 在弹出的消息窗口中，单击“确定”关闭消息窗口。 父主题： CDN下载

查看更多 →

查询CDN预热 功能介绍 查询预热结果。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1.0/{project_id}/asset/preheating

查看更多 →

配置阻断IP的防护规则需注意以下几点： 建议优先配置精准的IP（如192.168.10.5），减少网段配置，避免误拦截。 对于反向代理IP（如内容分发网络（CDN）、DDoS高防、 Web应用防火墙 （WAF）的回源IP），请谨慎配置阻断的防护规则，建议配置放行的防护规则或白名单。 对于正向代理IP（

查看更多 →

月结95峰值计费产品 产品名称 产品介绍 内容分发网络 https://www.huaweicloud.com/product/cdn.html DDoS防护 https://www.huaweicloud.com/product/aad.html 对象存储服务 https://www

查看更多 →

月结95峰值计费产品 产品名称 产品介绍 内容分发网络 https://www.huaweicloud.com/product/cdn.html DDoS防护 https://www.huaweicloud.com/product/aad.html 对象存储服务 https://www

查看更多 →

月结95峰值计费产品 产品名称 产品介绍 内容分发网络 https://www.huaweicloud.com/product/cdn.html DDoS防护 https://www.huaweicloud.com/product/aad.html 对象存储服务 https://www

查看更多 →

月结95峰值计费产品 产品名称 产品介绍 内容分发网络 https://www.huaweicloud.com/product/cdn.html DDoS防护 https://www.huaweicloud.com/product/aad.html 对象存储服务 https://www

查看更多 →

DDoS阶梯调度最佳实践 购买DDoS原生防护-全力防基础版时选择开启联动防护后，通过配置DDoS阶梯调度策略，可以自动联动调度DDoS高防对DDoS原生防护-全力防基础版防护的云资源进行防护，防御海量攻击。 配置DDoS阶梯调度后，当发生海量攻击时，系统联动调度DDoS高防对D

查看更多 →

弹性负载均衡（ELB） 弹性负载均衡 ELB 分布式缓存服务（D CS ） 分布式缓存服务 DCS NAT网关（NAT） NAT网关 NAT 内容分发网络（CDN） 内容分发网络 CDN 云容器引擎（CCE） 云容器引擎 CCE VPC终端节点 （VPCEP） VPC终端节点 VPCEP 云备份（CBR）

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

APP认证工作原理 APP认证流程 构造规范请求。 将待发送的请求内容按照与APIC后台约定的规则组装，确保客户端签名、APIC后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到HTT

查看更多 →

行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步，主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致，但是基于不同的业务使用场景，两个功能还是有些差异。

查看更多 →

Doris基本原理 Doris简介 Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满

查看更多 →

HDFS基本原理 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件

查看更多 →

Oozie基本原理 Oozie简介 Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console

查看更多 →

异地双活原理介绍 GeminiDB Cassandra提供了异地双活功能，通过异地实例间数据的双向同步和业务灵活调度能力，实现了业务恢复和故障恢复解耦，保障了故障场景下业务的连续性。 异地双活是一种多活容灾架构的解决⽅案，即部署在不同数据中心的GeminiDB Cassandra

查看更多 →