属性信息读、写、维护和修改。 提供Thrift接口，供HiveServer、Spark、WebHCat等MetaStore客户端来访问，操作元数据。 WebHCat 一个集群内可部署多个WebHCat，负荷分担。提供Rest接口，通过Rest执行Hive命令，提交MapReduce任务。

查看更多 →

Once消息可靠传递。消息被处理的状态是在Consumer端维护，需要结合应用层实现Exactly Once。 高吞吐 同时为发布和订阅提供高吞吐量。 持久化 将消息持久化到磁盘，因此可用于批量消费以及实时应用程序。通过将数据持久化到硬盘以及replication的方式防止数据丢失。

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

为了解决日益增长的数据量给driver带来的压力与出现的各种问题，现引入单独的索引缓存 服务器 ，将索引从Carbon查询的Spark应用侧剥离。所有的索引内容全部由索引缓存服务器管理，Spark应用通过RPC方式获取需要的索引数据。这样，释放了大量的业务侧的内存，使得业务不会受集群规模影响而导致性能或者功能出现问题。

查看更多 →

CDL基本原理 CDL简介 CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。

查看更多 →

StarRocks基本原理 StarRocks简介 StarRocks是一款高性能分析型 数据仓库 ，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。

查看更多 →

务版本。 有关支持购买WAF的区域说明，请参见 Web应用防火墙 支持防护哪些区域？。 原则上，在任何一个区域购买的WAF支持防护所有区域的Web业务。但是为了提高WAF的转发效率，建议您在购买WAF时，根据防护业务的所在区域就近选择购买的WAF区域。 WAF的支持降低购买的版本的规格，详见变更WAF云模式版本和规格。

查看更多 →

"ultimate" wafServicePackage 是 WAF服务基础套餐包 参数类型：WAF.Service 默认值：{u'resourceType': u'hws.resource.type.waf'} wafDomainPackage 否 WAF服务 域名 扩展包 参数类型：WAF.Domain

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

WAF.Bandwidth 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 resourceType 是 string 用户购买云服务产品的资源类型 取值说明："hws.resource.type.waf.bandwidth"表示WAF服务带宽扩展包。 取值约束：仅支持取值为"hws

查看更多 →

网站接入WAF 网站接入概述 将网站接入WAF防护（云模式-CNAME接入） 将网站接入WAF防护（云模式-ELB接入） 将网站接入WAF防护（独享模式） WAF支持的端口范围

查看更多 →

建议至少购买2个WAF实例，并将业务分别部署到WAF实例上。当业务部署多个WAF实例时，如果某个WAF实例发生故障时，WAF会自动将流量切换到其它正在运行的WAF实例上，确保业务正常运行。 前提条件 登录WAF控制台的账号必须具有“WAF Administrator”或者“WAF FullAccess”权限。

查看更多 →

DBService基本原理 DBService简介 DBService是一个高可用性的关系型数据库存储系统，适用于存储小量数据（10GB左右），比如：组件元数据。DBService仅提供给集群内部的组件使用，提供数据存储、查询、删除等功能。 DBService是集群的基础组件，H

查看更多 →

ClickHouse应用场景 ClickHouse是Click Stream + Data WareHouse的缩写，起初应用于一款Web流量分析工具，基于页面的点击事件流，面向数据仓库进行OLAP分析。当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融

查看更多 →

图1展示了使用IoTDB套件的全部组件形成的整体应用架构，IoTDB特指其中的时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序

查看更多 →

Web应用防火墙WAF接入LTS LTS支持Web应用防火墙 WAF接入，具体接入方法请参见开启全量日志。 WAF访问结构化模板日志详情 WAF访问日志示例 表1 结构化模板示例 模板名称 示例日志 WAF访问日志 {"response_code":"504","scheme":"http"

查看更多 →

5分钟 waf_http_2xx WAF返回码（2XX） 该指标用于统计测量对象近5分钟内WAF返回的2XX状态码的数量。 单位：次 采集方式：统计WAF引擎返回的2XX系列状态响应码的数量 ≥0 次 值类型：Float 防护域名 5分钟 waf_http_3xx WAF返回码（3XX）

查看更多 →

Flume基本原理 Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。其中Flume-NG是Flume的一个分支，其特点

查看更多 →

OMA：操作维护系统中的被管理节点，一般有多个。 图1中各模块的说明如表1所示： 表1 业务模块说明 模块名称 描述 Web Service 是一个部署在Tomcat下的Web服务，提供Manager的https接口，用于通过浏览器访问Manager。同时还提供基于Syslog和SNMP协议的北向接入能力。

查看更多 →

使用华为云WAF 备案场景 本节介绍使用华为云Web应用防火墙（Web Application Firewall，WAF）保护Web服务，且网站域名解析至中国大陆节点服务器的备案场景。 如图1所示。 ① 企业将网站域名（www.example.com）添加至WAF控制台，接入WAF，启用Web应用防火墙。

查看更多 →