Hive基本原理 Hive是建立在Hadoop上的 数据仓库 基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →

Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍，请参见：https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka Broker收到消息后，会持久化到磁盘，同时，To

查看更多 →

HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能 数据湖 内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

工作负载伸缩原理 CCE支持多种工作负载伸缩方式，策略对比如下： 表1 弹性伸缩策略对比 伸缩策略 HPA策略 CronHPA策略 CustomedHPA策略 VPA策略 AHPA策略 策略介绍 Kubernetes中实现POD水平自动伸缩的功能，即Horizontal Pod Autoscaling。

查看更多 →

按下开发板的复位RESET按钮，可以看到串口输出了Huawei LiteOS启动后运行“Kernel Task Demo”的打印信息，其中“Huawei LiteOS #”是Shell交互界面的提示符，如下图所示：Huawei LiteOS默认打开了Shell组件，可以在串口工具中输入支持的Shell命令，再勾选“加回车换行”，点击“发送

查看更多 →

烧录成功后，点击串口终端图标打开串口终端界面，设置端口（请根据实际使用的串口端口号进行设置），开启串口开关，开发板按下复位RESET按钮，可以看到串口输出，接收区输出的内容就是Huawei LiteOS启动后运行“Kernel Task Demo”的输出，如下图所示：Huawei LiteOS默认打开了Shell组件，可以在串口终端的“发

查看更多 →

Huawei LiteOS Studio通过“烧录”功能启动QEMU虚拟机运行Huawei LiteOS。如何配置“烧录器”并运行Huawei LiteOS，可以参考启动realview-pbx-a9仿真工程。烧录成功后，自动启动Huawei LiteOS，可以在“终端”界面中看

查看更多 →

可以参考如下命令，通过QEMU启动guest虚拟机运行Huawei LiteOS，因为realview-pbx-a9工程默认使能了SMP（多核），所以启动虚拟机时也需要设置-smp参数：$ qemu-system-arm -machine realview-pbx-a9 -smp 4 -m 512M -kernel out/realvie

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种

查看更多 →

内网采集权限与原理 主机深度采集 权限要求： Windows系统：需要提供具有Administrator权限的账号。 Linux系统：需要提供root账号。 采集原理： Windows系统：通过WinRM服务从Edge访问Windows主机，执行PowerShell脚本采集系统信息。

查看更多 →

ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常

查看更多 →

IoTDB基本原理 IoTDB（物联网数据库）是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构，具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序，索引和chunk块存储，大大的提升时序数据的查询性能。通过Raft协议，

查看更多 →

点，这样可以实现负载均衡。 图3 Flume级联结构图 Flume的架构和详细原理介绍，请参见：https://flume.apache.org/releases/1.9.0.html。 Flume原理 Agent之间的可靠性 Agent之间数据交换流程如图4所示。 图4 Agent数据传输流程

查看更多 →

Manager基本原理 Manager功能 Manager是 MRS 的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。

查看更多 →

CronFederatedHPA工作原理 CronFederatedHPA的工作原理如图1。创建CronFederatedHPA策略时，可以设定一个具体的时间，基于设定的时间调整HPA策略的最大和最小Pod数，也可以直接定时调整工作负载中的Pod数量。 图1 CronFederatedHPA工作原理 单独使用CronFederatedHPA

查看更多 →

作业运行 作业运行概述 启动作业 查询作业状态 查看作业操作记录 停止作业 父主题： 实时分析

查看更多 →

运行监控 交换监控 数据服务共享平台上的作业和文件传输运行状态的监控，其中作业状态展示最近一次作业的运行状态数据，文件传输则显示当前的实时传输进度。 前置交换监控查询浏览 从前置区角度查看最近一次作业运行状态 从前置区角度查看文件传输实时进度 共享交换监控查询浏览 从共享区角度查看最近一次作业运行状态

查看更多 →

运行流 流运行后，用户才能收到“IP地址查询结果”的邮件。 操作步骤 进入开天 集成工作台 管理控制台。 在左侧导航，选择“流编排 > 我的流”。 在流列表中，在流对应的“操作”列下，单击“运行”。 在“基本信息”框中，单击“运行”。 在“提交成功”对话框，单击“确定”。 收件人会收

查看更多 →

Agent运行 获取Agent配置信息 父主题： API v3

查看更多 →