默认值：2000MB comm_memory_pool_percent 参数说明：单个DN内TCP代理通信库可使用内存池资源的百分比，用于自适应负载预留通信库通信消耗的内存大小。 此参数需根据实际业务情况做调整，若通信库使用内存小，可设置该参数数值较小，反之设置数值较大。 该参数属于POSTMAST

查看更多 →

默认值：2000MB comm_memory_pool_percent 参数说明：单个DN内TCP代理通信库可使用内存池资源的百分比，用于自适应负载预留通信库通信消耗的内存大小。 此参数需根据实际业务情况做调整，若通信库使用内存小，可设置该参数数值较小，反之设置数值较大。 该参数属于POSTMAST

查看更多 →

通信协议 通信协议监控项可以对通信协议的访问进行监控，可以监控的通信协议包含Websocket类型。本章节主要对查看Websocket监控进行介绍。 操作步骤 登录AOM 2.0控制台。 在左侧导航栏选择“应用监控 > 组件列表”，进入组件列表页面。 在左侧“快速筛选”栏中，选择“区域”、“应用”以及“技术栈”。

查看更多 →

通信协议 本章节介绍APM采集的Websocket监控指标的类别、名称、含义等信息。 表1 Websocket监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，Websocket的异常信息统计。） exceptionType

查看更多 →

此参数需根据环境内存及部署方式具体配置，过大会造成OOM，过小会降低TCP代理通信库或SCTP通信库性能。 comm_memory_pool_percent 参数说明：单个DN内TCP代理通信库或SCTP通信库可使用内存池资源的百分比，用于自适应负载预留通信库通信消耗的内存大小。 参数类型：POSTMASTER

查看更多 →

comm_memory_pool_percent 参数说明：单个DN内通信库可使用内存池资源的百分比，用于自适应负载预留通信库通信消耗的内存大小。 参数类型：POSTMASTER 取值范围：整型，0~100 默认值：0 此参数需根据实际业务情况做调整，若通信库使用内存小，可设置该参数数值较小，反之设置数值较大。

查看更多 →

广播通信概述 概述 广播通信常用于一对多的消息通信。多个设备订阅相同的广播Topic，应用 服务器 调用广播消息下发的接口指定广播Topic的名称，就可以给已订阅该广播Topic的所有在线设备发布消息。广播模式的典型用途是根据设备的类别向设备发送通知。 例如，地震局给指定区域内的所有公民发送地震预警信息。

查看更多 →

通信库参数 本节介绍通信库相关的参数设置及取值范围等内容。 tcp_keepalives_idle 参数说明：在支持TCP_KEEPIDLE套接字选项的系统上，设置发送活跃信号的间隔秒数。不设置发送保持活跃信号，连接就会处于闲置状态。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。

查看更多 →

默认值：2000MB comm_memory_pool_percent 参数说明：单个DN内TCP代理通信库可使用内存池资源的百分比，用于自适应负载预留通信库通信消耗的内存大小。 此参数需根据实际业务情况做调整，若通信库使用内存小，可设置该参数数值较小，反之设置数值较大。 该参数属于POSTMAST

查看更多 →

Streaming引进了WAL功能。 WAL通常被用于数据库和文件系统中，用来保证任何数据操作的持久性，即先将操作记入一个持久的日志，再对数据施加这个操作。若施加操作的过程中执行失败了，则通过读取日志并重新施加前面指定的操作，系统就得到了恢复。下面介绍了如何利用这样的概念保证接收到的数据的持久性。

查看更多 →

操作HDFS的不同目录； 查询编辑器能够编写简单的SQL，查询存储在Hadoop之上的数据。例如HDFS，HBase，Hive。 用户可以方便地创建、管理、执行SQL，并且能够以Excel的形式下载执行的结果。 通过Hue可以在界面针对组件进行以下操作： HDFS： 查看、创建、管理、重命名、移动、删除文件/目录。

查看更多 →

Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker

查看更多 →

Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分： Client Flink Client主要给用户提供向Flink系统提交用户任务（流式作业）的能力。 TaskManager Flink系统的业务执行节点，执行具体的用户任务。TaskManager可

查看更多 →

全局的资源管理器，负责整个系统的资源管理和分配。主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager）。 调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的

查看更多 →

元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。 图4 元数据表和用户表的映射关系 数据操作流程 HBase数据操作流程如图 数据操作流程所示。 图5 数据操作流程 对HBase进行增、删、改、查数据操作时，HBase Client首先连接ZooKeeper获得“hbase:meta”

查看更多 →

Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。Hive与HQL相关信息，请参考HQL 语言手册。 图3为Hive的结构简图。 Metastore：对表，列和Partition等的元数据进行读写及更新操作，其下层为关系型数据库。 Driver：管理HQL执行的生命周期并贯穿Hive任务整个执行期间。

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

CarbonData基本原理 CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。

查看更多 →

CDL基本原理 CDL简介 CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。

查看更多 →

StarRocks基本原理 StarRocks简介 StarRocks是一款高性能分析型 数据仓库 ，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。

查看更多 →