通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 功能简介 通过KeyTab文件认证方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 public class JDBCExampleZk

查看更多 →

通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric实现KeyTab文件认证方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 import jaydebeapi

查看更多 →

入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。

查看更多 →

不存在，否则会报错。 mapreduce-examples-1.0.jar适用于 MRS 1.x版本。 在MapReduce任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。 运行样例工程前需要根据实际环境修改认证信息。 针对开启Kerberos认证的安全集群，代码中的“

查看更多 →

入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。

查看更多 →

使用Keytab文件进行JDBC安全认证 功能简介 使用keytab文件进行JDBC认证。 准备操作 登录 FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com

查看更多 →

使用Keytab文件进行Session安全认证 功能简介 使用Keytab文件进行Session认证。 准备操作 登录FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com

查看更多 →

要写入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式。 命令行认证 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证 通过获取客户端的principal和keytab文件在应用程序中进行认证。

查看更多 →

如果不包含，将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群 >服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory

查看更多 →

率。 WebHCat WebHCat运行用户通过Rest API来执行Hive DDL，提交Mapreduce任务，查询Mapreduce任务执行结果等操作。 父主题： Hive应用开发概述

查看更多 →

s”中的OozieMapReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”用户认证凭据文件复制到Oo

查看更多 →

s”中的OozieMapReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”用户认证凭据文件复制到Oo

查看更多 →

binaries. 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1

查看更多 →

FS服务，否则可能会导致任务失败。 前提条件 已将准备连接MapReduce集群配置文件获取的配置文件放置到MapReduce样例工程的“../src/mapreduce-example-security/conf”路径下。 已参考规划MapReduce统计样例程序数据将待处理数据上传至HDFS。

查看更多 →

txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。 在执行以上命令之前，<outputPath>目录必须不存在，否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。 对于MapReduce访问多组件样例程序，操作步骤如下。

查看更多 →

Hadoop类型连接 集群配置文件获取方式 Keytab文件获取方式 MRS集群 MRS HDFS MRS HBase MRS Hive MRS Hudi MRS ClickHouse 针对MRS 3.x版本集群： 登录FusionInsight Manager。 选择“集群 > > 待操作的集群名称

查看更多 →

数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下： 大规模并行计算

查看更多 →

单击数据源列表上方“新增数据源”，进入“新增数据源”界面，设置MRS_HIVE数据源的基本信息，具体参数如表1所示。 表1 参数说明 参数 说明 数据源类型 MRS_HIVE：MRS_HIVE是一个基于HDFS和MapReduce架构的 数据仓库 ，用户可以读取存放在MRS_HIVE的业务数据，将数据上传到EDS上。

查看更多 →

Apache集群场景下，此处仅说明认证凭据文件打包原则，认证凭据文件具体获取方式请参见对应版本说明文档。 将用户的认证凭据文件重命名为user.keytab。 将user.keytab文件压缩为无目录格式的zip包：user.keytab.zip。 集群配置文件包含集群的配置参数。如果修改了集群的配置参数，需重新获取配置文件。

查看更多 →

数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下： 大规模并行计算

查看更多 →

对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群，您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 表1中${HADOOP_HOME}表示服务端Hadoop的安装目录。 keytab认证是24小时有效，超过24小时需要重新认证。

查看更多 →