Oozie基本原理 Oozie简介 Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console

查看更多 →

分拨查询及疑难事件 分拨查询 派遣人员可以在分拨查询中查询所有派遣的工单。 图1 分拨查询 派遣员可以通过勾选页面右上角的“仅看与我有关”，只查看当前账号派发的工单详情； 图2 查看 疑难事件 在事件受理以及受理审核中选择为疑难事件的工单都会在疑难事件模块中显示，疑难事件模块分为

查看更多 →

查询数据库错误日志（MySQL） 功能介绍 查询数据库最近的错误日志信息，最多查询2000条。 该接口计划于2025-03-31下线，建议及时切换到新接口查询错误日志。 调用接口前，您需要了解API 认证鉴权。 调试 您可以在 API Explorer 中调试该接口。 接口约束 该接口仅支持MySQL引擎。

查看更多 →

位到具体的Region。元数据表包括“hbase:meta”表，用于记录用户表的Region信息，例如，Region位置、起始RowKey及结束RowKey等信息。 元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。 图4 元数据表和用户表的映射关系 数据操作流程 HBase数据操作流程如图

查看更多 →

与HQL相关信息，请参考HQL 语言手册。 图3为Hive的结构简图。 Metastore：对表，列和Partition等的元数据进行读写及更新操作，其下层为关系型数据库。 Driver：管理HQL执行的生命周期并贯穿Hive任务整个执行期间。 Compiler：编译HQL并将其

查看更多 →

可扩展性 当在Kafka集群中可通过增加Broker节点以提供更大容量时。新增的Broker会向ZooKeeper注册，而Producer及Consumer会及时从ZooKeeper感知到这些变化，并作出调整。 Kafka开源特性 可靠性 提供At-Least Once，At-Most

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

快速查询响应：高性能查询是CarbonData关键技术的优势之一。CarbonData查询速度大约是Spark SQL查询的10倍。CarbonData使用的专用数据格式围绕高性能查询进行设计，其中包括多种索引技术、全局字典编码和多次的Push down优化，从而对TB级数据查询进行最快响应。

查看更多 →

CDL基本原理 CDL简介 CDL（全称Change Data Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。

查看更多 →

StarRocks节点及角色说明 名称 说明 Client Application StarRocks兼容MySQL协议，支持标准SQL语法，用户可通过各类MySQL客户端和常用BI工具对接。 FE StarRocks的前端节点，主要负责管理元数据、管理客户端连接、进行查询规划、查询调度等工作。

查看更多 →

工作负载伸缩原理 CCE支持多种工作负载伸缩方式，策略对比如下： 表1 弹性伸缩策略对比 伸缩策略 HPA策略 CronHPA策略 CustomedHPA策略 策略介绍 Kubernetes中实现POD水平自动伸缩的功能，即Horizontal Pod Autoscaling。

查看更多 →

工作负载伸缩原理 HPA工作原理 HPA（Horizontal Pod Autoscaler）是用来控制Pod水平伸缩的控制器，HPA周期性检查Pod的度量数据，计算满足HPA资源所配置的目标数值所需的副本数量，进而调整目标资源（如Deployment）的replicas字段。

查看更多 →

0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM 在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。 针对DECIMAL

查看更多 →

MySQL MySQL连接器用于连接MySQL数据库，负责建立和维护应用程序和MySQL数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MyS

查看更多 →

MySQL MySQL连接器用于连接MySQL数据库，负责建立和维护应用程序和MySQL数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MyS

查看更多 →

查询数据库慢日志（MySQL） 功能介绍 查询数据库最近的2000条慢日志信息。 该接口计划于2025-03-31下线，建议及时切换到新接口查询慢日志。 调用接口前，您需要了解API 认证鉴权。 调试 您可以在API Explorer中调试该接口。 接口约束 该接口仅支持MySQL数据库引擎。

查看更多 →

查询数据库慢日志（MySQL） 功能介绍 查询数据库最近的慢日志信息，最多查询2000条。 该接口计划于2025-03-31下线，建议及时切换到新接口查询慢日志。 调用接口前，您需要了解API 认证鉴权。 调试 您可以在API Explorer中调试该接口。 接口约束 该接口仅支持MySQL数据库引擎。

查看更多 →

Spark基本原理 Spark组件适用于 MRS 3.x之前版本。 Spark简介 Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速的开发，统一的大数据应用，对数据进行离线处理，流式处理，交互式分析等等。 Spark提供了一个快速的计算、写入及交互式查询的框架。相比于

查看更多 →

编辑、执行SQL/HQL语句；保存、复制、编辑SQL/HQL模板；解释SQL/HQL语句；保存SQL/HQL语句并进行查询。 数据库展示，数据表展示。 支持多种Hadoop存储。 通过Metastore对数据库及表和视图进行增删改查等操作。 如果使用IE浏览器访问Hue界面来执行HQL，由于浏览器存在的功

查看更多 →

eeper，HDFS等）进行安全集成。 灵活的拓扑定义及部署 使用Flux框架定义及部署业务拓扑，在业务DAG发生变化时，只需对YAML DSL（domain-specific language）定义进行修改，无需重新编译及打包业务代码。 与外部组件集成 支持与多种外部组件集成，

查看更多 →

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →