Agent：负责监控所在主机上主备GTM、CN、主备DN的运行状态并将状态上报给CM Server。同时负责执行CM Server下发的仲裁指令。集群的每台主机上均有CM Agent进程。 OM Monitor：看护CM Agent的定时任务，其唯一的任务是在CM Agent停止的情况下将CM Agent重启。如果CM

查看更多 →

成HDFS上Hadoop原生数据的分析查询。 DWS的SQL编译器中引入了新的Scheduler（调度器）组件。在SQL编译时，如果有针对HDFS外表的访问，Scheduler组件会访问HDFS Name Node元数据信息，获得外表文件在HDFS上的存储路径。CN的SQL引擎在

查看更多 →

DLI 中的Spark组件与 MRS 中的Spark组件有什么区别？ DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。具体请参考《 数据湖探索 用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，

查看更多 →

Hadoop组件jar包位置和环境变量的位置在哪里？ hadoopstreaming.jar位置在/opt/share/hadoop-streaming-*目录下。其中*由Hadoop版本决定。 jdk环境变量：/opt/client/JDK/component_env Hado

查看更多 →

参数“obs://wordcount01/input/”中的OBS文件系统名需要替换为实际环境创建的文件系统名。 参数“obs://wordcount01/output/”中的OBS文件系统名需要替换为实际环境创建的文件系统名，目录output为一个不存在的目录，具体以实际为准。 服务配置参数无需填写。

查看更多 →

可选，对象列表。其中每个对象可能具有name属性（必需）和value属性（可选）。 此属性中的内容将合并到从指定的DNS策略生成的选项，重复的条目将被删除，请参考表17。 表17 options 参数 是否必选 参数类型 描述 name 是 String 操作名称 value 否 String 操作值 表18

查看更多 →

String 指定构建集群的id。 node_label_selector Map<String, String> key是标签的键，value是标签的值。 请求示例 创建软件包部署的应用微服务组件，运行时设置为Java8，组件软件包来源选择存储在obs下myapp桶中的demo.jar包。

查看更多 →

应用。 Hive 建立在Hadoop基础上的开源的 数据仓库 ，提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。 ZooKeeper 提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。 KrbServer

查看更多 →

org.apache.hadoop.fs.obs.OBS 是 - fs.obs.endpoint 无 是 华为云OBS的终端节点（Endpoint）。 fs.obs.access.key 无 是 华为云的AK（Access Key Id），需要具备访问OBS对应桶的权限。 fs.obs

查看更多 →

参数“obs://wordcount01/input/”中的OBS文件系统名需要替换为实际环境创建的文件系统名。 参数“obs://wordcount01/output/”中的OBS文件系统名需要替换为实际环境创建的文件系统名，目录output为一个不存在的目录，具体以实际为准。 服务配置参数无需填写。

查看更多 →

MRS集群中安装的组件能否删除？ 已经创建的MRS 3.1.0及之前版本集群中的组件不可以删除，如果不使用的话可以登录Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持删除组件，具体请参见管理服务操作。 父主题： 集群管理类

查看更多 →

选择本地的Keytab文件，然后通过操作框右侧的“上传文件”进行上传。 描述：用户可添加对此集群配置的描述，用于标识和区分该集群配置。 确认后集群配置新建成功。后续在新建Hadoop类型连接时，认证模式根据实际情况选择，将“是否使用集群配置”选择为“是”，然后选择对应的“集群配置名”，

查看更多 →

octopus:dataWarehouse:list √ √ 获取数据仓库的数据列表 POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data octopus:dataWarehouse:list √ √ 父主题： 权限和授权项

查看更多 →

数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

图2 管理目录 新建组件 参考如何登录AstroCanvas中操作，登录AstroCanvas界面。 在主菜单中，选择“我的资产”。 在左侧导航栏中，单击“我的组件”。 在我的组件中，单击“添加组件”。 单击或拖拽所需的组件到下图红框中。 图3 上传组件 按需设置组件ID和版本说明，单击“保存”。

查看更多 →

图2 管理目录 新建组件 参考登录AstroCanvas界面中操作，登录AstroCanvas界面。 在主菜单中，选择“我的资产”。 在左侧导航栏中，单击“我的组件”。 在我的组件中，单击“添加组件”。 单击或拖拽所需的组件到下图红框中。 图3 上传组件 按需设置组件ID和版本说明，单击“保存”。

查看更多 →

管理私有依赖库2.0中的组件 搜索私有组件 进入私有依赖库，单击页面左上方“高级搜索”。 页面上方可以选择待查找组件所在的仓库（默认为所有制品类型）。 在搜索框内输入文件名称的关键字，单击，即可搜索组件。 单击“文件名”可以查看组件的详细信息。 制品按照checksums搜索 单

查看更多 →

上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在E CS 上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数

查看更多 →

配置Hadoop安全参数 设置安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道是加密的。 参数修改入口：在 FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。

查看更多 →

Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →