记删除，同时将新的数据写入新的文件。在查询的时候，所有被标记删除的数据都会在文件级别被过滤掉，读取出来的数据就都是最新的数据，消除掉了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型

查看更多 →

记删除，同时将新的数据写入新的文件。在查询的时候，所有被标记删除的数据都会在文件级别被过滤掉，读取出来的数据就都是最新的数据，消除掉了读时合并中的数据聚合过程，并且能够在很多情况下支持多种谓词的下推。因此在许多场景都能带来比较大的性能提升，尤其是在有聚合查询的情况下。 Duplicate模型

查看更多 →

弱网环境 是指网络的服务质量相对来说不是非常稳定，导致用户经常会在弱信号的网络环境下通信。 月结95带宽峰值计费 一种按带宽的计费方式，指在一个自然月内，将每个有效日的所有峰值带宽的统计点进行排序，去掉数值最高的5%的统计点，取剩下的数值最高统计点，该点就是95峰值的计费点。 上采样

查看更多 →

常用CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/3.1.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似

查看更多 →

在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元组和时间的双重属性。流上的任何一个元素，都可以用Element<tuple

查看更多 →

数据处理单元，会将一或多个DataStream转换成一个新的DataStream。 具体可以细分如下几类： 一对一的转换：如Map。 一对0、1或多个的转换：如FlatMap。 一对0或1的转换，如Filter。 多对1转换，如Union。 多个聚合的转换，如window、keyby。 CheckPoint

查看更多 →

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。

查看更多 →

server会定期向master发送心跳。 kudu kudu的管理工具，可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件，应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息，用来表示表中列的信息。 父主题： 概述

查看更多 →

Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。 图1 RDD的依赖 窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用。 宽依赖：指子RDD的分区依赖于父RDD的所有分区。 窄依赖对优化很有利。逻辑上，每个RDD的算子都是一个fork/join（此join非上文

查看更多 →

同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是，将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，大大降低了网络带宽的占用。 Client HDFS Client主要包括五种方式：JAVA

查看更多 →

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。

查看更多 →

常用API介绍 Java API 父主题： 更多信息

查看更多 →

常用概念 流程定义文件 描述业务逻辑的XML文件，包括“workflow.xml”、“coordinator.xml”、“bundle.xml”三类，最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件，对应文件名为“job.properties”，每个流程定义有且仅有一个该属性文件。

查看更多 →

常用API介绍 Java scala 父主题： 更多信息

查看更多 →

常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户

查看更多 →

其他常用操作 导入数据至 DLI 表的方式 数据湖探索 监控指标说明及查看指导 云审计 服务支持的DLI操作列表说明 配额管理

查看更多 →

连接器是 可信智能计算 节点内置的连接特定数据源所需的对象模板，目前支持连接 MRS Hive、MySQL、RDS、DWS、ORACLE等多种连接器，并支持扩展增加新的连接器。 数据集（Data set） 数据集为计算节点获取并配置的合作方数据的元数据信息，以及附加其上的隐私策略。 作业（Job）

查看更多 →

常用安全配置 配置主机登录保护 开启恶意程序隔离查杀 开启双因子认证 父主题： 接入HSS

查看更多 →

egion指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区（AZ，Availability Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储

查看更多 →

常用的身份提供商 微软AD Okta 父主题： 管理身份源

查看更多 →

在备份策略中配置对应的复制策略，周期性的对策略产生的未向目标区域进行过复制或复制失败的备份执行复制操作。 应用一致性 业界对备份一致性的定义包括如下三类： 不一致备份：备份的文件、磁盘不在同一个时间点。 崩溃一致性备份：崩溃一致性备份会捕获备份时磁盘上已存在的数据，文件/磁盘数据

查看更多 →