入阶段就会去将被覆盖和被更新的数据进行标记删除，同时将新的数据写入新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出的数据就都是最新的数据，消除了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。

查看更多 →

HDFS是一个Master/Slave的架构，在Master上运行NameNode，而在每一个Slave上运行DataNode，ZKFC需要和NameNode一起运行。 NameNode和DataNode之间的通信都是建立在TCP/IP的基础之上的。NameNode、DataNode、ZKFC和Journa

查看更多 →

立应用软件的开发工具的集合。 Database pg数据库。 WebApp（Oozie） WebApp（Oozie）即Oozie server，可以用内置的Tomcat容器，也可以用外部的，记录的信息比如日志等放在pg数据库中。 Tomcat Tomcat 服务器 是免费的开放源代码的Web应用服务器。

查看更多 →

一个数据中心正常运行时，可以通过业务层的调度将故障区域的业务切换到正常区域，因为配置了异地双活，您可以在数据中心运行正常的区域继续处理数据。在业务不中断的前提下实现故障场景下业务的快速恢复，保证了故障场景下业务的连续性。 配置异地双活功能的具体操作请参见搭建双活关系。 父主题： 异地双活

查看更多 →

WAF对SQL注入、XSS跨站脚本和PHP注入攻击的检测原理？ SQL（Structured Query Language）注入攻击是一种常见的Web攻击方法，攻击者通过把SQL命令注入到数据库的查询字符串中，最终达到欺骗服务器执行恶意SQL命令的目的。例如，可以从数据库获取敏感信息，或者利用数据库的特性执

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM 在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。

查看更多 →

CF下的一个标签，可以在写入数据时任意添加，因此CF支持动态扩展，无需预先定义Column的数量和类型。HBase中表的列非常稀疏，不同行的列的个数和类型都可以不同。此外，每个CF都有独立的生存周期（TTL）。可以只对行上锁，对行的操作始终是原始的。 Column 与传统的数据库

查看更多 →

L、Derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，图1为Hive的结构概图。 图1 Hive结构

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据

查看更多 →

HetuEngine的客户端，使用者通过客户端向服务端提交查询请求，然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理，用作计算实例的资源管理校验，健康监控与自动维护等。 HSConsole 对外提供数据源信息管理，计算实例管理，自动化任务的查看等功能的可视化操作界面和RESTful接口。

查看更多 →

由多个级别的索引组成，处理框架可以利用这个索引来减少需要安排和处理的任务，也可以通过在任务扫描中以更精细的单元（称为blocklet）进行skip扫描来代替对整个文件的扫描。 可选择的数据编码：通过支持高效的数据压缩和全局编码方案，可基于压缩/编码数据进行查询，在将结果返回给用户

查看更多 →

高可靠和Rebalance的能力，创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡，保证每个实例上运行的task数量大致相同，如果某个CDLConnector实例异常或者节点宕机，该任务会在其它节点重新平衡task的数量。 图1 Task的Rebalance示意图

查看更多 →

由相同类型的元素构成的一个数组， 一行数据的所有列值在各自的数组中按照列顺序排列，即拥有相同的数组下标。数组下标是隐式的，不需要存储。表中所有的行按照维度列，做多重排序，排序后的位置就是该行的行号。 索引 StarRocks通过前缀索引 (Prefix Index) 和列级索引，

查看更多 →

8s上以及Prometheus的发展，开发者已经不满足于CPU和Memory，开发者需要应用自身的业务指标，或者是一些接入层的监控信息，例如：Load Balancer的QPS、网站的实时在线人数等。社区经过思考之后，定义了一套标准的Metrics API，通过聚合API对外提供服务。

查看更多 →

图1 HPA流程图 HPA的核心有如下2个部分： 监控数据来源 最早社区只提供基于CPU和Mem的HPA，随着应用越来越多搬迁到K8s上以及Prometheus的发展，开发者已经不满足于CPU和Memory，开发者需要应用自身的业务指标，或者是一些接入层的监控信息，例如：Load

查看更多 →

GeminiDB Redis提供的ELB的实现方式是怎样的 GeminiDB Redis采用的是独享性负载均衡器，采用弹性规格，带宽最高支持10Gbps。详细原理参考独享型负载均衡器。 父主题： 数据库连接

查看更多 →

自建数据中心的负载均衡 LVS负载均衡方式 控制台配置 配置准备 配置指导 验证测试 父主题： CloudPond自建数据中心负载均衡最佳实践

查看更多 →

Flexus负载均衡 创建Flexus负载均衡后，选择不到 云服务器 是什么原因？ 父主题： Flexus L实例 及X实例

查看更多 →

Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题： Hive企业级能力增强

查看更多 →

Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题： Hive企业级能力增强

查看更多 →

应一个转发策略实例。 工作原理 客户端向应用程序发出请求。 负载均衡实例中的监听接收与配置的协议和端口匹配的请求。 监听再根据配置将请求转发至相应的后端服务器集群。如果配置了转发策略，监听会根据配置的转发策略评估传入的请求，如果匹配，请求将被转发至相应的后端服务器组。 后端服务器

查看更多 →