Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

Firewall，WAF）提供了对该漏洞的防护。 影响的版本范围 漏洞影响的Apache Dubbo产品版本包括： 2.7.0～2.7.4、2.6.0～2.6.7、2.5.x的所有版本。 安全版本 Apache Dubbo 2.7.5版本。 解决方案 建议您将Apache Dubbo升级到2.7.5版本。 如果您

查看更多 →

DDS节点脱节原理和说明 副本集架构由主节点、备节点和隐藏节点组成，DDS自动搭建三节点的副本集供用户使用，节点之间数据自动同步，保证数据的高可靠性。对于需要保证高可用的中小型业务系统，推荐使用副本集。 主节点：即Primary节点，用于读写请求。 备节点：即Secondary节点，用于读请求。

查看更多 →

MapReduce基本原理 如需使用MapReduce，请确保 MRS 集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。

查看更多 →

org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop

查看更多 →

MySQL主备复制原理简介 RDS for MySQL的默认备库、只读实例、自建从库、DRS链路灾备实例均采用MySQL的Binlog复制技术，也称为MySQL主备复制或主从复制技术。本章节介绍MySQL的主从复制原理。 主备复制流程 主节点（Master）中有数据更新时，会按照

查看更多 →

org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop

查看更多 →

hashtag的原理、规则及用法示例 hashtag原理 单实例上的mset、lua脚本等处理多key时，是一个原子性(atomic)操作，所有给定key都会在同一时间内被执行。集群每次通过对key进行hash计算到不同的分片，所以集群上同时执行多个key，不再是原子性操作，会存在某些给定

查看更多 →

器临时目录中。 在MapReduce作业的提交阶段，将文件从临时目录迁移到正式目录。 Loader的架构和详细原理介绍，请参见：https://sqoop.apache.org/docs/1.99.3/index.html。 父主题： Loader

查看更多 →

火墙。 图1 企业路由器使用方法 当您了解了企业路由器的使用方法后，接下来将为您详细介绍企业路由器的工作原理。工作原理如图2所示，详细说明请参见表2。 图2 企业路由器工作原理图 表1 网络流量路径说明 序号 路径 说明 1 请求路径：VPC1→DC虚拟网关 从VPC1去往DC虚

查看更多 →

Firewall，WAF）提供了对该漏洞的防护。 影响的版本范围 漏洞影响的Apache Dubbo产品版本包括： 2.7.0～2.7.4、2.6.0～2.6.7、2.5.x的所有版本。 安全版本 Apache Dubbo 2.7.5版本。 解决方案 建议您将Apache Dubbo升级到2.7.5版本。 如果您

查看更多 →

S高防对DDoS原生高级防护对象中的云资源进行防护，业务流量经过DDoS高防转发。DDoS阶梯调度工作原理如图1所示。 图1 DDoS阶梯调度工作原理 父主题： DDoS调度中心常见问题

查看更多 →

什么是成本单元，工作原理是什么？ 成本单元是一种基于规则引擎自动归集客户成本的工具。客户可以根据关联账号、产品类型、账单类型、成本标签、企业项目甚至是其他成本单元自定义条件规则，将名下的成本按照实际需求归集到有意义的分类。企业通常对业务有多种查看视角，比如部门、项目、应用等，客户可以创建多个成本单元来匹配这些视角。

查看更多 →

linecount(input:org.apache.spark.sql.Dataset[String]):Long=input.filter(line => line.length()>0).count() def wordcount(input:org.apache.spark.sql.Da

查看更多 →

企业交换机工作原理 企业交换机的工作原理如图1所示，详细说明请参见表1。 图1 企业交换机工作原理 表1 企业交换机工作原理说明 序号 原理 网络实例说明 1 建立本端和远端隧道子网之间的三层网络通信 使用企业交换机之前，需要规划云下和云上所需的资源，本示例中的资源规划详情请参见表2。

查看更多 →

自然周期调度之同周期依赖原理 解释说明 即作业A依赖于作业B的相同调度周期的运行实例。周期单位包括分钟、小时、天、周、月这五种，不同调度周期的作业，其允许配置的依赖作业调度周期总结如图1所示。 图1 同周期作业依赖关系全景图 分钟依赖分钟 规则：分钟是最小调度粒度，没有自然分钟周

查看更多 →

Spark2x基本原理 Spark2x组件适用于MRS 3.x及后续版本。 简介 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能

查看更多 →

HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。 Apache HDFS 支持按文件分片。 Apache HBase 支持按HBase的Region分片。 Apache Hive HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。

查看更多 →

HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。 Apache HDFS 支持按文件分片。 Apache HBase 支持按HBase的Region分片。 Apache Hive HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。

查看更多 →

限流 限流规则借鉴了Resilience4j的思想，作用在服务端，其原理为：每隔limitRefreshPeriod的时间会加入rate个新许可，就可以最多接受rate个请求，超过的将被限流，返回响应码429。 Java Chassis的限流作用于微服务提供者，需要微服务应用集成

查看更多 →