建立在Hadoop基础上的开源的 数据仓库 ，提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。 KrbServer 密钥的管理中心，负责票据的分发。

查看更多 →

获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

Cloud应用，使用ServiceStage能够方便的实现滚动升级。 当使用ServiceStage部署应用的时候，可参考设置应用健康检查分别配置组件存活探针、组件业务探针，用以检测微服务的“存活”状态和“就绪”状态。 spring Boot提供了开箱即用的容器探针，LivenessStateHealthIndicator

查看更多 →

String 调用接口的认证方式分为Token和AK/SK两种，如果您使用的Token方式，此参数为必填，请填写Token的值。Token获取方式，请参考获取用户Token。 响应消息 无 请求示例 无 响应示例 无 状态码 状态码 描述 204 操作成功 400 错误的请求 404 请求对象不存在

查看更多 →

Hue与其他组件的关系 Hue与Hadoop集群的关系 Hue与Hadoop集群的交互关系如图1所示。 图1 Hue与Hadoop集群 表1 Hue与其它组件的关系 名称 描述 HDFS HDFS提供REST接口与Hue交互，用于查询、操作HDFS文件。 在Hue把用户请求从用户

查看更多 →

Doris与其他组件的关系 Doris与HDFS组件的关系 Doris支持导入和导出HDFS数据，并且支持直接查询HDFS数据源。 Doris与Hudi组件的关系 Doris支持直接查询Hudi数据源。 Doris与Spark组件的关系 使用Spark Doris Connect

查看更多 →

支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件

查看更多 →

Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：

查看更多 →

CDL与其他组件的关系 CDL组件基于Kafka Connect框架，抓取的数据都是通过kafka的topic做中转，所以首先依赖Kafka组件，其次CDL本身存储了任务的元数据信息和监控信息，这些数据都存储在数据库，因此也依赖DBService组件。 父主题： CDL

查看更多 →

（离线 数据湖 是客户大数据平台的必选，一般的客户做大数据处理都要使用离线数据湖，但是离线数据湖的时效性很低，只能做到小时级处理，已经开始逐渐无法满足各行业需求，因此除非客户坚持目前和未来如果干年对时效性都没有要求，不建议选择离线数据湖） 实时数据湖：将企业内多种格式数据源汇聚的大数据平台，通过

查看更多 →

等功能，可以帮助您安全的控制云资源的访问。通过IAM，您可以在云账号中给员工创建IAM用户，并授权控制他们对云资源的访问范围。 场景一：您的员工中有负责软件开发的人员，您希望他们拥有 GaussDB (DWS)的使用权限，但是不希望他们拥有删除集群等高危操作的权限，那么您可以使用IA

查看更多 →

签名文件包含哪些信息？ 签名文件是服务单与Teleport设备一一对应的唯一标识。签名文件中包含的内容如下表所示： 参数 说明 version 服务版本号。 OrderURN 包括了服务名称、创建服务单所在的区域、服务签名以及服务单号信息。 父主题： 服务安全类

查看更多 →

企业智慧屏标配包含OPS吗？ 华为企业智慧屏在无OPS情况下，支持投写合一的协作白板、旗舰级智能云会议、海量APP应用。当前在售的商品均不包含OPS，需要客户单独购买。 父主题： 硬件/外观

查看更多 →

，HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。 HDFS和MapReduce的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 而MapReduce是一

查看更多 →

r。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on YARN分两种模式：YARN

查看更多 →

HBase与其他组件的关系 HBase和HDFS的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志文件

查看更多 →

执行。 Hive与Tez的关系 Tez是Apache的开源项目，它是一个支持有向无环图的分布式计算框架，Hive使用Tez引擎进行数据分析时，会将用户提交的HQL语句解析成相应的Tez任务并提交Tez执行。 Hive与DBService的关系 Hive的MetaStore（元数据

查看更多 →

API：提供基于窗口的API。 资源调度器：新增基于资源的调度器插件，可以在拓扑定义时指定可使用的最大资源，并且通过配置的方式指定用户的资源配额，从而管理该用户名下的拓扑资源。 State Management：提供带检查点机制的Bolt接口，当事件失败时，Storm会自动管理bolt的状态并且执行恢复。

查看更多 →

Flink与其他组件的关系 Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式，在该模式下，Flink作为Yarn上的一个应用，提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。 图1 Flink基于Yarn的集群部署 Flink Yarn C

查看更多 →

Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn

查看更多 →

低代码平台定义的注册动作的API，只有通过此API注册后的动作，才会在组件的动作列表中展现。 thisObj：当前组件实例对象，指为该组件注册动作。 "actionName"：动作名称。 "Action Label"：动作标签名，在动作列表中展示的动作标题。 []：事件触发时传入的参数。

查看更多 →