常用概念 DataNode 将文件切分成大小相同的块（称为“数据块”），存储在不同的DataNode上，并且周期性地向NameNode报告该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等，分为： Active

查看更多 →

常用概念 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在 MRS 产品中进行API方式认证。 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。

查看更多 →

常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。

查看更多 →

常用API介绍 Java API REST API 父主题： 更多信息

查看更多 →

常用CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/3.1.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似

查看更多 →

reduceByKey； 对两个RDD基于key进行join和重组，如join、cogroup。 后三种操作都涉及重排，称为shuffle类操作。 Action操作可以分为如下几种： 生成标量，如count（返回RDD中元素的个数）、reduce、fold/aggregate（返

查看更多 →

常用概念 以电力场景为例，说明如何在IoTDB中创建一个正确的数据模型。 图1 电力场景属性层级组织结构 如图1所示，即“电力集团层-电厂层-设备层-传感器层”。其中ROOT为根节点，传感器层的每一个节点为叶子节点。IoTDB的语法规定，ROOT节点到叶子节点的路径以“.”连接，

查看更多 →

示例：常用操作 示例1 此示例将演示如何基于 GaussDB 提供的JDBC接口开发应用程序。执行示例前，需要加载驱动，驱动的获取和加载方法请参考JDBC包、驱动类和环境类。 1 2 3 4 5 6 7 8 9 10 11 12 13 14

查看更多 →

示例：常用操作 import psycopg2 import os # 从环境变量中获取用户名和密码 user = os.getenv('user') password = os.getenv('password') # 创建连接对象 conn=psycopg2.connec

查看更多 →

常用概念 元数据采集 DAS将对实例的库、表、字段等元数据信息由实时查库，升级为后台任务的定期采集，并保存到DAS的数据库中。

查看更多 →

常用概念 REST API REST API是访问Web 服务器 的一套API，REST API接口的执行方式是通过HTTP请求进行的，接收GET、PUT、POST、DELETE等请求并使用JSON数据进行响应。 HTTP请求的格式为：https://<Process_IP>:<Process_Port>/<Path>。

查看更多 →

常用概念 基本概念 cluster cluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由的定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。 shards shard（分片）是对cluster

查看更多 →

常用概念 基本概念 cluster cluster（集群）在ClickHouse里是一种逻辑的概念，它可以由用户根据需要自由的定义，与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系，各自独立存在。 shards shard（分片）是对cluster

查看更多 →

常用API介绍 Java API C API HTTP REST API 父主题： 更多信息

查看更多 →

常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive

查看更多 →

Query Language，类SQL语句，与Hive类似。 Statestore Statestore管理Impala集群中所有的Impalad实例的健康状态，并将实例健康信息广播到所有实例上。当某一个Impalad实例发生故障，比如节点异常、网络异常等，Statestore将通知其

查看更多 →

educe而言，对键值对的处理为单线程串行处理。 框架需要对key和value的类(classes)进行序列化操作，因此，这些类需要实现Writable接口。另外，为了方便框架执行排序操作，key类必须实现WritableComparable接口。 一个MapReduce作业的输入和输出类型如下所示：

查看更多 →

常用API介绍 Java Scala Python 父主题： 更多信息

查看更多 →

常用CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/3.1.1/quick-start.html 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于

查看更多 →

常用API介绍 Java API C API HTTP REST API 父主题： 更多信息

查看更多 →

常用概念 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。

查看更多 →