Elasticsearch脱敏 大数据 Elasticsearch Hive脱敏 Hive HBase脱敏 HBase DLI 脱敏 大数据 DLI MRS 脱敏 MRS MRS_HIVE 数据水印功能支持的数据源类型 表4 数据水印功能支持的数据源类型 水印类型 水印类型 支持的数据源类型 数据库水印 有损-列水印

查看更多 →

ark、HBase MRS 1.9.3 Loader、Hive、Tez、Spark、Flink MRS 1.9.2 Loader、Hive、Tez、Spark、Flink、Impala MRS 1.9.0 Loader、Hive、Spark、Flink MRS 1.8.10 Loader、Storm

查看更多 →

在调用作业相关接口的时候，部分URL中需要填入集群ID（cluster_id），所以需要先在管理控制台上获取到集群ID。集群ID获取步骤如下： 登录MRS管理控制台。 选择“现有集群”，单击待操作集群的集群名称，进入集群详情页面。 选择“概览”页签，在基本信息区域获取“集群ID”。 图1 集群ID 获取作业ID

查看更多 →

tion实例。 创建名称为“hive”的Catalog、名称为“default”的数据库，如果实例中已存在则请跳过该步骤。详细操作可参考管理元数据。 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。 确认左

查看更多 →

tion实例。 创建名称为“hive”的Catalog、名称为“default”的数据库，如果实例中已存在则请跳过该步骤。详细操作可参考管理元数据。 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。 确认左

查看更多 →

配置方式：MRS用户 MRS数据源：选择前面创建的mrs_01集群。 MRS用户：admin 用户密码：前面创建MRS数据源的admin密码。 创建外部服务器 仅Hive对接OBS场景执行，Hive对接HDFS场景跳过。 使用Data Studio连接已创建好的DWS集群。 执行以下

查看更多 →

FDI通过公网对接其他租户的MRS HIVE如何配置？ 首先需要将MRS的IP全部绑定EIP，然后在MRS配置文件中的私网IP全部替换成EIP，再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”，值设为“true”。

查看更多 →

MRS集群管理 配置MRS集群阈值类告警 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩

查看更多 →

特性。 MRS 1.9.3、MRS 3.1.0、MRS 3.1.2-LTS、MRS 3.1.5以及MRS 3.2.0-LTS。 扩容后，集群内节点已安装的客户端无需更新，集群外节点安装的客户端请参考服务端配置过期后更新MRS集群客户端进行更新。 扩容后，如需对HDFS数据进行均衡

查看更多 →

如果修改了端口类等需要尽快生效的配置（例如服务端的端口），则不建议通过滚动重启的方式使之生效，建议采用普通重启。 通过管理控制台重启集群 登录MRS管理控制台。 选择“现有集群”，单击集群名称进入集群详情页面。 在页面右上角选择“管理操作 > 滚动重启集群”。 图1 滚动重启集群（以MRS 1.9.2版本为例）

查看更多 →

登录MRS集群 查看MRS集群主备管理节点 登录MRS集群节点 父主题： MRS集群运维

查看更多 →

管理MRS集群 MRS集群管理概述 MRS集群Manager简介 访问MRS集群Manager 管理MRS集群 管理MRS集群组件 管理MRS集群节点 管理MRS集群客户端 管理MRS集群作业 管理MRS集群租户 管理MRS集群用户 管理MRS集群元数据 管理MRS集群静态服务资源

查看更多 →

用户具有MRS Hive连接的表的访问权限时，才能在字段映射时看到表。 MRS Hive连接适用于华为云上的 MapReduce服务 。MRS Hive的连接参数如表1所示。 新建MRS Hive连接前，需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码，然后使用该新建用户创建MRS连接。

查看更多 →

用户具有MRS Hive连接的表的访问权限时，才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 新建MRS Hive连接前，需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码，然后使用该新建用户创建MRS连接。

查看更多 →

MRS创建 登录MRS管理控制台。 单击“购买集群”，进入“购买集群”页面。 在购买集群页面，选择“自定义购买”页签。 配置软件配置集群信息，“区域”选择【华北-北京四】，填写集群名称，选择集群版本“MRS 3.0.5”，“集群类型”选择【分析集群】，“分析组件”除默认外勾选“S

查看更多 →

用户可以根据需要在文本框中输入对该数据源的描述信息。 设置完成后，配置数据源连接参数，具体参数如表2所示。 表2 参数说明 参数 说明 连接地址 MRS_HIVE数据库的IP地址。 端口 MRS_HIVE数据库的端口号。 域名 MRS_HIVE数据库的域名。 数据库名称 MRS_HIVE数据库服务的名称。

查看更多 →

Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题： Connector列表

查看更多 →

Hive Hive基本原理 Hive CBO原理介绍 Hive与其他组件的关系 Hive开源增强特性 父主题： 组件介绍

查看更多 →

MRS集群上的数据准备 从MRS导入数据到 GaussDB (DWS)集群之前，假设您已经完成了以下准备工作： 已创建MRS集群。 在MRS集群上创建了Hive/Spark ORC表，且表数据已经存储到该表对应的HDFS路径上。 如果您已经完成上述准备，则可以跳过本章节。 为方便起见，以在MRS集群上创建Hive

查看更多 →

选择待创建的MRS集群的计费模式。 按需计费 集群名称 待创建的MRS集群名称。 MRS_demo 版本类型 待创建的MRS集群版本类型。 普通版 集群版本 待创建的MRS集群版本。 MRS 3.1.0 组件选择 选择待创建的MRS集群配套的组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。

查看更多 →

参考更新客户端配置文件，在MRS控制台下载客户端配置文件，解压后： 从“MRS_Services_ClientConfig_ConfigFiles > MRS_Services_ClientConfig_ConfigFiles”路径中得到“hosts”文件。 从“MRS_Services

查看更多 →