org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop

查看更多 →

Ingress控制器会将Ingress生成一段Nginx的配置，并将Nginx配置通过ConfigMap进行储存，这个配置会通过Kubernetes API写到Nginx的Pod中，然后完成Nginx的配置修改和更新，详细工作原理请参见工作原理。 开源社区地址：https://github.

查看更多 →

Huawei以后，默认集成了限流模块spring-cloud-starter-huawei-governance， 只需要通过配置开启具体的限流策略。 配置示例如下： servicecomb: matchGroup: AllOperation: | matches:

查看更多 →

ascsha为AS CS 主节点 虚拟主机 名，ersha为ASCS备节点虚拟主机名，虚拟机主机名可自定义。 这里无需写入虚拟IP地址与虚拟主机名对应关系，因为虚拟IP需要配置HA之后才能生效，暂时先不绑定给虚拟主机名，在安装完ASCS和ERS后再修改hosts文件，写入虚拟IP和虚拟主机名的对应关系。

查看更多 →

内网采集权限与原理 主机深度采集 权限要求： Windows系统：需要提供具有Administrator权限的账号。 Linux系统：需要提供root账号。 采集原理： Windows系统：通过WinRM服务从Edge访问Windows主机，执行PowerShell脚本采集系统信

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

DBService基本原理 DBService简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左右），比如：组件元数据。DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。 DBService是集群的基础组件，H

查看更多 →

ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常

查看更多 →

IoTDB基本原理 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大的提升时序数据的查询性能。通过Raft协议，

查看更多 →

Huawei以后，默认集成了限流模块spring-cloud-starter-huawei-governance， 只需要通过配置开启具体的限流策略。 配置示例如下： servicecomb: matchGroup: AllOperation: | matches:

查看更多 →

Huawei负载均衡规则使用了Spring Cloud里面Ribbon的思想，作用在客户端，其原理为：当使用随机规则时，客户端会在下游微服务实例中随机访问一个实例，当使用轮询规则时，客户端会在下游微服务实例中按顺序循环选择Server。 配置示例如下： servicecomb: loadbalance:

查看更多 →

Huawei负载均衡规则使用了Spring Cloud里面Ribbon的思想，作用在客户端，其原理为：当使用随机规则时，客户端会在下游微服务实例中随机访问一个实例，当使用轮询规则时，客户端会在下游微服务实例中按顺序循环选择Server。 配置示例如下： servicecomb: loadbalance:

查看更多 →

Firewall，WAF）提供了对该漏洞的防护。 影响的版本范围 漏洞影响的Apache Dubbo产品版本包括： 2.7.0～2.7.4、2.6.0～2.6.7、2.5.x的所有版本。 安全版本 Apache Dubbo 2.7.5版本。 解决方案 建议您将Apache Dubbo升级到2.7.5版本。 如果您

查看更多 →

_1507.html 获取集群的配置文件 参考安装客户端，下载并解压客户端。 获取下载的HDFS客户端配置文件（下载路径/HDFS/hadoop/etc/hadoop）中的core-site.xml、hdfs-site.xml。Yarn客户端配置文件（下载路径/Yarn/config）中的core-site

查看更多 →

MySQL主备复制原理简介 RDS for MySQL的默认备库、只读实例、自建从库、DRS链路灾备实例均采用MySQL的Binlog复制技术，也称为MySQL主备复制或主从复制技术。本章节介绍MySQL的主从复制原理。 主备复制流程 主节点（Master）中有数据更新时，会按照

查看更多 →

hashtag的原理、规则及用法示例 hashtag原理 单实例上的mset、lua脚本等处理多key时，是一个原子性(atomic)操作，所有给定key都会在同一时间内被执行。集群每次通过对key进行hash计算到不同的分片，所以集群上同时执行多个key，不再是原子性操作，会存在某些给定

查看更多 →

器临时目录中。 在MapReduce作业的提交阶段，将文件从临时目录迁移到正式目录。 Loader的架构和详细原理介绍，请参见：https://sqoop.apache.org/docs/1.99.3/index.html。 父主题： Loader

查看更多 →

这2个参数支持配置为时间宏变量，例如： 起始时间配置为${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}时，表示只导出昨天以后的数据。 终止时间配置为${dateformat(yyyy-MM-dd HH:mm:ss)}时，表示只导出当前时间以前的数据。 这2个参数同时配置后， CDM

查看更多 →

这2个参数支持配置为时间宏变量，例如： 起始时间配置为${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}时，表示只导出昨天以后的数据。 终止时间配置为${dateformat(yyyy-MM-dd HH:mm:ss)}时，表示只导出当前时间以前的数据。 这2个参数同时配置后，CDM

查看更多 →

这2个参数支持配置为时间宏变量，例如： 起始时间配置为${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}时，表示只导出昨天以后的数据。 终止时间配置为${dateformat(yyyy-MM-dd HH:mm:ss)}时，表示只导出当前时间以前的数据。 这2个参数同时配置后，CDM

查看更多 →