常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。

查看更多 →

常用概念 Table Table有schema和primary key属性，且可以划分为多个tablet。 Tablet Tablet是指数据分片，可以指定副本数，存放在多个tablet server上，多个副本中有一个是leader tablet；所有的副本都可以读，但是写操作

查看更多 →

reduceByKey； 对两个RDD基于key进行join和重组，如join、cogroup。 后三种操作都涉及重排，称为shuffle类操作。 Action操作可以分为如下几种： 生成标量，如count（返回RDD中元素的个数）、reduce、fold/aggregate（返

查看更多 →

常用概念 DataNode 将文件切分成大小相同的块（称为“数据块”），存储在不同的DataNode上，并且周期性地向NameNode报告该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等，分为： Active

查看更多 →

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。

查看更多 →

常用API介绍 Java API 父主题： 更多信息

查看更多 →

常用概念 流程定义文件 描述业务逻辑的XML文件，包括“workflow.xml”、“coordinator.xml”、“bundle.xml”三类，最终由Oozie引擎解析并执行。 流程属性文件 流程运行期间的参数配置文件，对应文件名为“job.properties”，每个流程定义有且仅有一个该属性文件。

查看更多 →

常用API介绍 Java scala 父主题： 更多信息

查看更多 →

常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户

查看更多 →

egion分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区（AZ，Availability Zone）：一个AZ是一个或多个物理数据中心的

查看更多 →

其他常用操作 导入数据至 DLI 表的方式 数据湖探索 监控指标说明及查看指导 云审计 服务支持的DLI操作列表说明 配额管理

查看更多 →

常用概念 合作方、参与方： 空间成员，有权使用空间中的数据，或者将自有数据发布到空间，供其他合作方受限使用。 计算节点 部署在参与方侧，是 可信智能计算 与合作方侧数据的桥梁，保障数据按照合作方意愿受限使用。 计算节点是管理参与方数据的最小单位。部署计算节点时需要指定空间配置信息。在

查看更多 →

常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive

查看更多 →

educe而言，对键值对的处理为单线程串行处理。 框架需要对key和value的类(classes)进行序列化操作，因此，这些类需要实现Writable接口。另外，为了方便框架执行排序操作，key类必须实现WritableComparable接口。 一个MapReduce作业的输入和输出类型如下所示：

查看更多 →

常用API介绍 Java API REST API 父主题： 更多信息

查看更多 →

常用API介绍 Shell Java Rest 父主题： 更多信息

查看更多 →

常用CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/3.1.1/quick-start.html 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于

查看更多 →

常用概念 基本概念 cluster cluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由的定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。 shards shard（分片）是对cluster

查看更多 →

常用概念 基本概念 DataStream 数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过Socket、Kafka和文件等形式导入，在Flink系统处理后，在通过Socket、Kafka和文件等输出到外部系统，这是Flink的核心概念。 Data

查看更多 →

常用API介绍 Java scala 父主题： 更多信息

查看更多 →

常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户

查看更多 →