主节点与只读节点的通信 虽然主节点与只读节点共享底层存储数据，但是主节点和只读节点之间仍需要进行信息通信。 主节点发送到只读节点内容：redo的描述信息，比如redo日志的最新lsn和内部读取日志的接口信息。 只读节点发送到主节点内容： 只读节点当前的视图，视图中保存了当前的事务列表，

查看更多 →

调用，也可以包装成公共接口后被调用。本节中主要是将服务编排包装成一个公共接口后，供页面调用，“管理设备”功能中涉及的业务逻辑，以及服务编排与脚本关系如表1下所示，详细操作方式及说明请参见创建业务逻辑。 表1 “管理设备”功能需要创建的脚本、服务编排详情 脚本名称 主要作用 关联服务编排

查看更多 →

普遍性：Spark提供了众多的工具，例如Spark SQL和Spark Streaming。可以在一个应用中，方便地将这些工具进行组合。 与Hadoop集成：Spark能够直接运行于Hadoop的集群，并且能够直接读取现存的Hadoop数据。 MRS 服务的Spark组件具有以下优势：

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

生变化时，只需对YAML DSL（domain-specific language）定义进行修改，无需重新编译及打包业务代码。 与外部组件集成 支持与多种外部组件集成，包括：Kafka、HDFS、HBase、Redis或JDBC/RDBMS等服务，便于实现涉及多种数据源的业务。 父主题：

查看更多 →

包。无实体进程，作业运行过程不依赖FlinkResource。 FlinkServer：基于Web的作业管理二次开发平台，可直接在界面开发与管理FlinkSQL作业。具有运维管理界面化、作业开发SQL标准化等特点。 Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分：

查看更多 →

所有工作。包括： 与RM调度器协商以获取资源。 将得到的资源进一步分配给内部的任务（资源的二次分配）。 与NM通信以启动/停止任务。 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 开源容量调度器Capacity Scheduler原理 Capacity

查看更多 →

缩数量，并保持负载伸缩的稳定性。 图1 FederatedHPA工作原理 如何计算指标数据？ 指标数据分为系统指标与自定义指标，计算方法如下： 系统指标 主要包括CPU利用率和内存利用率两个指标，系统指标的查询与监控依赖Metrics API。例如，您希望控制工作负载对CPU资源

查看更多 →

主节点与只读节点的通信 虽然主节点与只读节点共享底层存储数据，但是主节点和只读节点之间仍需要进行信息通信。 主节点发送到只读节点内容：redo的描述信息，比如redo日志的最新lsn和内部读取日志的接口信息。 只读节点发送到主节点内容： 只读节点当前的视图，视图中保存了当前的事务列表，

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

k8s.io： 主要提供Kubernetes Object相关的自定义监控指标。 external.metrics.k8s.io：指标来源外部，与任何的Kubernetes资源的指标无关。 扩缩容决策算法 HPA controller根据当前指标和期望指标来计算缩放比例，计算公式如下：

查看更多 →

障恢复后，原主用Master降为备用。 Client Client使用HBase的RPC机制与Master、RegionServer进行通信。Client与Master进行管理类通信，与RegionServer进行数据操作类通信。 RegionServer RegionServe

查看更多 →

WebHCat的逻辑架构图 Hive原理 Hive作为一个基于HDFS和MapReduce架构的数据仓库，其主要能力是通过对HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。Hive与HQL相关信息，请参考HQL 语言手册。

查看更多 →

有的消费者实例都属于同样的消费组，它们就以传统队列负载均衡方式工作。如上图中，Consumer1与Consumer2之间为负载均衡方式；Consumer3、Consumer4、Consumer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组，则消息会被广

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

在Kubernetes社区HPA功能的基础上，增加了应用级别的冷却时间窗和扩缩容阈值等功能。 CronHPA提供HPA对象的兼容能力，您可以同时使用CronHPA与HPA。 CronHPA与HPA策略共同使用：CronHPA作用于HPA策略之上，用于定时调整HPA策略的实例数范围。 CronHPA策略单独使用：CronHPA

查看更多 →

使用方法 Windows JS SDK中提供监听端口的IdeaShareAdapter.exe服务端程序，使用TCP(HTTP)进行通讯，启动后就会后台自动运行并持续监听8099端口，用户只需在客户端向该端口发送JSON格式的接口信息并监听回复消息即可完成接口的调用，其中TCP的

查看更多 →

提取方法对象 此重构允许您将任意代码片段单独移动到新类的方法中，以便您可以进一步将该方法分解为同一对象上的其他方法。 执行重构 在代码编辑器中，选择要提取到包装类的新方法的代码片段。 在主菜单或编辑器上下文菜单中，选择Refactor>Extract Method Object。

查看更多 →

使用方法 您可以通过“rds_in_predicate_conversion_threshold”参数设置IN谓词转子查询功能。 该参数值默认为0, 表示关闭该功能。如果您需要使用，则需要联系客服人员开启。 表1 参数说明 参数名称 级别 描述 rds_in_predicate_

查看更多 →

常用调试方法 查看日志 父主题： IPDCenter外部集成开发

查看更多 →