会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容错性。这种数据的转换链记录就是数据集的溯源。由于并行

查看更多 →

过界面图形化的方式查看ZooKeeper。 有关Hue的详细信息，请参见：http://gethue.com/。 Hue结构 Hue是建立在Django Python（开放源代码的Web应用框架）的Web框架上的Web应用程序，采用了MTV（模型M-模板T-视图V）的软件设计模式。

查看更多 →

Storm核心数据结构，是消息传递的基本单元，不可变Key-Value对，这些Tuple会以一种分布式的方式进行创建和处理。 Stream Storm的关键抽象，是一个无边界的连续Tuple序列。 Topology 在Storm平台上运行的一个实时应用程序，由各个组件（Component）组成的一个DAG（Directed

查看更多 →

精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分，对于实时流处理应用来说，基于时间语义的窗口聚合、检

查看更多 →

个队列，再选择队列上的一个应用，并尝试在这个应用上分配资源。若因参数限制导致分配失败，将选择下一个应用。选择一个应用后，调度器会处理此应用的资源申请。其优先级从高到低依次为：本地资源的申请、同机架的申请，任意机器的申请。 图2 资源分配模型 YARN原理 新的Hadoop Map

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

获取座席事件（getAgentEvent） 请求方法：GET 请求的url：https://ip:port/agentgateway/resource/agentevent/{agentid} 请参考轮询方式获取单座席事件 如何发送PUT的HTTP请求 请参考MainTest.java中的 /** * Send

查看更多 →

转到实现 语言服务还支持通过按“Ctrl+Alt+B”跳转到符号的实现。对于接口，这显示了该接口的所有实现者，对于抽象方法，这显示了该方法的所有具体实现。 还可以通过Peek视图使用此功能，该视图显示在当前编辑器中，因此您不需要切换上下文。要在Peek视图中查看方法的实现，右键单

查看更多 →

配置 云服务器 实现多网卡多IP访问 问题描述 当云 服务器 配置了多张网卡时，需要在云服务器内部配置策略路由来实现非主网卡的通信，具体操作步骤如下。 可能原因 未设置路由规则，导致扩展网卡的IP无法访问。 操作指引 本文提供Linux和Windows云服务器的操作指导，具体请参见表1。

查看更多 →

工作负载伸缩原理 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。

查看更多 →

创建AHPA策略 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。 想

查看更多 →

定义Column的数量和类型。HBase中表的列非常稀疏，不同行的列的个数和类型都可以不同。此外，每个CF都有独立的生存周期（TTL）。可以只对行上锁，对行的操作始终是原始的。 Column 与传统的数据库类似，HBase的表中也有列的概念，列用于表示相同类型的数据。 RegionServer数据存储

查看更多 →

L、Derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，图1为Hive的结构概图。 图1 Hive结构

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据

查看更多 →

HetuEngine的客户端，使用者通过客户端向服务端提交查询请求，然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理，用作计算实例的资源管理校验，健康监控与自动维护等。 HSConsole 对外提供数据源信息管理，计算实例管理，自动化任务的查看等功能的可视化操作界面和RESTful接口。

查看更多 →

自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

如何实现页面组件间的交互 组件之间的交互主要依托数据的变化和传输实现，将组件的属性与对应的数据进行绑定。当其他组件的事件、服务编排、事件等使属性绑定值发生变化时，绑定的属性也随即发生变化，实现了组件之间的交互。 数据绑定方式 在标准页面开发界面，选中任意组件，在右侧“属性”页签进行数据绑定。

查看更多 →

如何通过云服务器备份实现云服务器数据跨区域迁移？ 背景说明 某用户在华南-广州区域有一台 弹性云服务器 ，该服务器仅有一块系统盘。为了实现跨区域的容灾能力，以及在其他区域快速进行业务部署，需要在其他区域创建相同的服务器，并且拥有相同的数据。可以使用云服务器备份，实现以上场景。 本次将

查看更多 →

ngerAdmin中。 Ranger原理 组件Ranger插件 Ranger为各组件提供了基于PBAC（Policy-Based Access Control）的权限管理插件，用于替换组件自身原来的鉴权插件。Ranger插件都是由组件侧自身的鉴权接口扩展而来，用户在Ranger

查看更多 →

户，用于后续的安全登录，开启Kerberos服务的renewable和forwardable开关并且设置票据刷新周期，开启成功后重启kerberos及相关组件。 默认情况下，用户的密码有效期是90天，所以获取的keytab文件的有效期是90天。 Kerberos服务的renewa

查看更多 →

hashmethod) 采用cryptotype和cryptomode组成的加密算法以及hashmethod指定的HMAC算法，以keystr为密钥对decryptstr字符串进行解密，返回解密后的字符串。解密使用的keystr必须保证与加密时使用的keystr一致才能正常解密。 gs_encrypt_aes128(encryptstr

查看更多 →