tPayload))，其中Hash表示生成消息摘要的函数，当前支持SHA-256算法。HexEncode表示以小写字母形式返回摘要的Base-16编码的函数。例如，HexEncode("m") 返回值为“6d”而不是“6D”。输入的每一个字节都表示为两个十六进制字符。 计算Req

查看更多 →

数据仓库 服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定弹性公网IP DWS集群运维时间窗检查 DWS集群VPC检查 父主题： 系统内置预设策略

查看更多 →

window和horizontal-pod-autoScaler-upscale-stabilization-window这两个启动参数代表缩容冷却时间和扩容冷却时间，这样保证在冷却时间内，跳过扩缩容。1.14版本之后引入延迟队列，保存一段时间内每一次检测的决策建议，然后根据当前

查看更多 →

元数据表 元数据表是HBase中一种特殊的表，用来帮助Client定位到具体的Region。元数据表包括“hbase:meta”表，用于记录用户表的Region信息，例如，Region位置、起始RowKey及结束RowKey等信息。 元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。

查看更多 →

中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Hive结构 Hive为单实例的服务进程，提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务，图1为Hive的结构概图。 图1 Hive结构 表1 模块说明 名称

查看更多 →

、不可变的消息序列，并不断追加到提交日志文件。分区的消息每个也被赋值一个称为偏移顺序（Offset）的序列化编号。 图1 Kafka结构 表1 Kafka结构图说明 名称 说明 Broker 在Kafka集群上一个 服务器 称为一个Broker。 Topic/主题 一个Topic就是

查看更多 →

HetuEngine包含不同模块，整体结构如图1所示。 图1 HetuEngine结构图 表1 各模块说明 模块名称 常见概念名称 描述 云服务层 HetuEngine CLI/JDBC HetuEngine的客户端，使用者通过客户端向服务端提交查询请求，然后将执行结果取回并展示。 HSBroker

查看更多 →

工作负载伸缩原理 CCE支持多种工作负载伸缩方式，策略对比如下： 表1 弹性伸缩策略对比 伸缩策略 HPA策略 CronHPA策略 CustomedHPA策略 VPA策略 AHPA策略 策略介绍 Kubernetes中实现POD水平自动伸缩的功能，即Horizontal Pod Autoscaling。

查看更多 →

tPayload))，其中Hash表示生成消息摘要的函数，当前支持SHA-256算法。HexEncode表示以小写字母形式返回摘要的Base-16编码的函数。例如，HexEncode("m") 返回值为“6d”而不是“6D”。输入的每一个字节都表示为两个十六进制字符。 计算Req

查看更多 →

只读节点发送到主节点内容： 只读节点当前的视图，视图中保存了当前的事务列表，主节点根据各个节点的视图信息，才能对undo日志进行purge清理。 只读节点的recycle_lsn，recycle_lsn表示只读节点读取数据页的最小lsn。对于只读节点来说，读取的数据页的lsn不会小于recycle

查看更多 →

节中主要是将服务编排包装成一个公共接口后，供页面调用，“管理设备”功能中涉及的业务逻辑，以及服务编排与脚本关系如表1下所示，详细操作方式及说明请参见创建业务逻辑。 表1 “管理设备”功能需要创建的脚本、服务编排详情 脚本名称 主要作用 关联服务编排 关联公共接口 HW__queryEquipments

查看更多 →

只读节点发送到主节点内容： 只读节点当前的视图，视图中保存了当前的事务列表，主节点根据各个节点的视图信息，才能对undo日志进行purge清理。 只读节点的recycle_lsn，recycle_lsn表示只读节点读取数据页的最小lsn。对于只读节点来说，读取的数据页的lsn不会小于recycle

查看更多 →

展出的Pod调度到具有更多资源的集群，以解决单个集群的资源限制，提高故障发生时的恢复能力。 FederatedHPA工作原理 FederatedHPA的工作原理如图1，实现流程如下： HPA Controller通过API定期查询工作负载的指标数据。 karmada-apiser

查看更多 →

Streaming的核心是将流式的数据看成一张不断增加的数据库表，这种流式的数据处理模型类似于数据块处理模型，可以把静态数据库表的一些查询操作应用在流式计算中，Spark执行标准的SQL查询，从不断增加的无边界表中获取数据。 图8 Structured Streaming无边界表 每一条查询的操作都会产生一个结果集Result

查看更多 →

编辑、执行SQL/HQL语句；保存、复制、编辑SQL/HQL模板；解释SQL/HQL语句；保存SQL/HQL语句并进行查询。 数据库展示，数据表展示。 支持多种Hadoop存储。 通过Metastore对数据库及表和视图进行增删改查等操作。 如果使用IE浏览器访问Hue界面来执行HQL，由于浏览器存在的功能问题，将导

查看更多 →

Grouping。 图3描述了一个由Spout、Bolt组成的DAG，即Topology。图中每个矩形框代表Spout或者Bolt，矩形框内的节点表示各个并发的Task，Task之间的“边”代表数据流——Stream。 图3 Topology示意图 可靠性 Storm提供三种级别的数据可靠性：

查看更多 →

chain 图5中上半部分表示的是将Source和Map两个紧密度高的算子优化后串成一个Operator Chain，实际上一个Operator Chain就是一个大的Operator的概念。图中的Operator Chain表示一个Operator，KeyBy表示一个Operator

查看更多 →

槽管理Map和Reduce任务的执行，而NodeManager管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。 图1 YARN结构 图1中各部分的功能如表1所示。 表1 结构图说明 名称 描述 Client YARN Application客户端，用户可

查看更多 →

大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合

查看更多 →

普通用户执行创建OBS外表语句时报错：permission denied 创建GDS外表失败，报错：ROUNDROBIN distribution type is built-in support. GDS导入失败后，磁盘占用空间增大 使用DLF服务创建DWS外表时不支持中文，如何处理

查看更多 →

Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。 数据有三种分布方式，可以在建表的时候指定：REPLICATION、ROUNDROBIN

查看更多 →