用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式。 命令行认证 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证 通过获取客户端的principal和keytab文件在应用程序中进行认证。

查看更多 →

入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。

查看更多 →

入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。

查看更多 →

不存在，否则会报错。 mapreduce-examples-1.0.jar适用于 MRS 1.x版本。 在MapReduce任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。 运行样例工程前需要根据实际环境修改认证信息。 针对开启Kerberos认证的安全集群，代码中的“

查看更多 →

如何使用MapReduce命令 命令含义 对大数据集执行map-reduce操作。 如何启用MapReduce命令 MapReduce命令由DDS参数模板参数“security.javascriptEnabled”控制，默认值为“false”，表示mapreduce和group命

查看更多 →

对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群，您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 表1中${HADOOP_HOME}表示服务端Hadoop的安装目录。 keytab认证是24小时有效，超过24小时需要重新认证。

查看更多 →

t/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令认证用户并登录。首次登录需要修改密码。 kinit developuser 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir

查看更多 →

t/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令认证用户并登录。首次登录需要修改密码。 kinit developuser 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir

查看更多 →

登录安装有HetuEngine客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 认证或指定用户。 安全模式集群：执行以下命令认证用户 kinit HetuEngine组件操作用户 例如：

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt：数据输入文件

查看更多 →

在Linux环境下运行样例工程。 对于MapReduce统计样例程序，执行如下命令。 yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath> 此命令包含了

查看更多 →

需要使用的认证方式如表1所示： 表1 安全认证方式 样例代码 模式 安全认证方式 spark-examples-normal yarn-client 命令认证、配置认证或代码认证，三种任选一种。 yarn-cluster 命令认证或者配置认证，两种任选一种。 spark-examples-security

查看更多 →

如果需要在非集群节点取消Kerberos认证与系统用户登录，以“root”用户执行pam-config --delete --krb5命令。 解压认证凭据文件得到“krb5.conf”，并使用WinSCP将此配置文件上传到集群外节点的“/etc”目录，执行以下命令设置权限使其他用户可以访问，例如“604”：

查看更多 →

，创建用户请参考创建MRS集群用户。 认证当前用户。 kinit presto001 下载用户凭证。 针对MRS 3.x之前版本集群，在MRS Manager页面，选择“系统设置 > 用户管理 ”，选择新增用户所在行的“更多 > 下载认证凭据”。 针对MRS 3.x及之后版本，在 FusionInsight

查看更多 →

s/oms-krb5kdc.log”。 发现有大量的认证失败，同时有 “<unknown client> for <unknown server>”错误提示。 通过排查，发现是由于节点安装了原生的Kerberos导致认证异常。 执行rpm -qa | grep krb5，观察是否有krb5-workstation-1

查看更多 →

http://ip:port 启用Kerberos认证的集群，执行以下命令连接本集群的Presto Server。 presto_cli.sh --krb5-config-path krb5.conf文件路径 --krb5-principal 用户principal --krb5-keytab-path

查看更多 →

准备MapReduce应用运行环境 MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与H

查看更多 →

参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

考修改集群服务配置参数章节。 建议：配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

参数 描述 默认值 yarn.app.mapreduce.am.resource.mb 该参数值必须大于下面参数的堆大小。单位：MB 1536 yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。

查看更多 →

所示： 表1 安全认证方式 样例代码 模式 安全认证方式 sparknormal-examples yarn-client 命令认证、配置认证或代码认证，三种任选一种。 yarn-cluster 命令认证或者配置认证，两种任选一种。 sparksecurity-examples （已包含安全认证代码）

查看更多 →