生变化时，只需对YAML DSL（domain-specific language）定义进行修改，无需重新编译及打包业务代码。 与外部组件集成 支持与多种外部组件集成，包括：Kafka、HDFS、HBase、Redis或JDBC/RDBMS等服务，便于实现涉及多种数据源的业务。 父主题：

查看更多 →

赖FlinkResource。 FlinkServer：基于Web的作业管理二次开发平台，可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分： Client

查看更多 →

另外，SparkSQL还提供了诸如API、CLI、JDBC等诸多接口，对客户端提供多样接入形式。 Spark SQL Native DDL/DML Spark 1.5版本将很多DDL/DML命令下压到Hive执行，造成了与Hive的耦合，且在一定程度上不够灵活（比如报错不符合预期、结果与预期不一致等）。

查看更多 →

所有工作。包括： 与RM调度器协商以获取资源。 将得到的资源进一步分配给内部的任务（资源的二次分配）。 与NM通信以启动/停止任务。 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 开源容量调度器Capacity Scheduler原理 Capacity

查看更多 →

调用，也可以包装成公共接口后被调用。本节中主要是将服务编排包装成一个公共接口后，供页面调用，“管理设备”功能中涉及的业务逻辑，以及服务编排与脚本关系如表1下所示，详细操作方式及说明请参见创建业务逻辑。 表1 “管理设备”功能需要创建的脚本、服务编排详情 脚本名称 主要作用 关联服务编排

查看更多 →

缩数量，并保持负载伸缩的稳定性。 图1 FederatedHPA工作原理 如何计算指标数据？ 指标数据分为系统指标与自定义指标，计算方法如下： 系统指标 主要包括CPU利用率和内存利用率两个指标，系统指标的查询与监控依赖Metrics API。例如，您希望控制工作负载对CPU资源

查看更多 →

独享模式在部分区域已经停售，详见独享模式停售通知。 图1 防护原理 流量经WAF返回源站的过程称为回源。WAF通过回源IP代替客户端发送请求到源站 服务器 ，接入WAF后，在客户端看来，所有的目标IP都是WAF的IP，从而隐藏源站IP。 图2 回源IP 防护原理（云模式-ELB接入） 通过云模式-ELB

查看更多 →

慢速连接攻击是CC攻击的变种，该攻击的基本原理说明如下： 对任何一个允许HTTP访问的服务器，攻击者先在客户端上向该服务器建立一个content-length比较大的连接，然后通过该连接以非常低的速度（例如，1秒～10秒发一个字节）向服务器发包，并维持该连接不断开。如果攻击者在客户端上不断建立这样的连接

查看更多 →

出现“客户端与服务器的时间相差15分钟”的报错 问题： 使用OBS时出现报错“客户端与服务器的时间相差大于15分钟”或“The difference between the request time and the current time is too large”。 原因：

查看更多 →

障恢复后，原主用Master降为备用。 Client Client使用HBase的RPC机制与Master、RegionServer进行通信。Client与Master进行管理类通信，与RegionServer进行数据操作类通信。 RegionServer RegionServe

查看更多 →

WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和MapReduce架构的 数据仓库 ，其主要能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。Hive与HQL相关信息，请参考HQL 语言手册。

查看更多 →

费者实例都属于同样的消费组，它们就以传统队列负载均衡方式工作。如上图中，Consumer1与Consumer2之间为负载均衡方式；Consumer3、Consumer4、Consumer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组，则消息会被广播给所

查看更多 →

HetuEngine CLI/JDBC HetuEngine的客户端，使用者通过客户端向服务端提交查询请求，然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理，用作计算实例的资源管理校验，健康监控与自动维护等。 HSConsole 对外提供数据源信息管理，计

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

k8s.io： 主要提供Kubernetes Object相关的自定义监控指标。 external.metrics.k8s.io：指标来源外部，与任何的Kubernetes资源的指标无关。 扩缩容决策算法 HPA controller根据当前指标和期望指标来计算缩放比例，计算公式如下：

查看更多 →

在Kubernetes社区HPA功能的基础上，增加了应用级别的冷却时间窗和扩缩容阈值等功能。 CronHPA提供HPA对象的兼容能力，您可以同时使用CronHPA与HPA。 CronHPA与HPA策略共同使用：CronHPA作用于HPA策略之上，用于定时调整HPA策略的实例数范围。 CronHPA策略单独使用：CronHPA

查看更多 →

到负载均衡器与后端服务器之间的连接，后端服务器整体连接数无法获取，因此对于后端服务器挂载到多个弹性负载均衡的场景，也可能导致负载分配不均衡。 新增后端服务器时可能导致过载：如果已有的连接数过大，大量的新建连接会被分配到新加入的后端服务器上，可能会导致新加入的后端服务器瞬间过载影响系统稳定性。

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

并向Leader转发写请求，避免系统处理能力浪费。 Client ZooKeeper集群的客户端，对ZooKeeper集群进行读写操作。例如HBase可以作为ZooKeeper集群的客户端，利用ZooKeeper集群的仲裁功能，控制其HMaster的“Active”和“Standby”状态。

查看更多 →

出现“客户端与服务器的时间相差大于15分钟”的报错 问题 当出现“客户端与服务器的时间相差大于15分钟”的报错时，无法正常使用OBS。 回答 出于安全目的，OBS会校验Browser和服务器的时间差，当该时间差大于15分钟时，会出现此报错。请根据本地UTC时间调整本地时间以避免此问题。

查看更多 →

安全性。 数据备份与恢复：提供了数据备份导出与导入恢复机制，满足生产环境的要求。 分布式管理：提供集群模式，能够自动管理多个数据库节点。 列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库，数据按列进行组织，属于同一列的数据会被保存在一起，列与列之间也会由不同的文件分别保存。

查看更多 →