参数 描述 默认值 yarn.app.mapreduce.am.resource.mb 该参数值必须大于下面参数的堆大小。单位：MB 1536 yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。

查看更多 →

客户端安装目录/Presto/user.keytab 执行以下命令连接本集群的Presto Server： presto_cli.sh --krb5-config-path {krb5.conf文件路径} --krb5-principal {用户principal} --krb5-keytab-path {user

查看更多 →

educer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到Hadoop集群。 代码样例 下面代码片段仅为演示，具体代码请参见com.huawei.bigdata.mapreduce.examples.MultiComponentExample类：

查看更多 →

准备连接MapReduce集群配置文件 如果需要使用访问多组件样例程序，请确保集群已安装Hive、HBase服务。 准备集群认证用户信息 对于开启Kerberos认证的 MRS 集群，需提前准备具有相关组件操作权限的用户，并下载认证凭据文件用于程序认证。 以下MapReduce权限配置

查看更多 →

参数 描述 默认值 yarn.app.mapreduce.am.resource.mb 该参数值必须大于下面参数的堆大小。单位：MB 1536 yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。

查看更多 →

educer抽象类实现。 main方法提供建立一个MapReduce job，并提交MapReduce作业到Hadoop集群。 代码样例 下面代码片段仅为演示，具体代码请参见com.huawei.bigdata.mapreduce.examples.MultiComponentExample类：

查看更多 →

jar”包所在目录相同）。 已参考规划MapReduce访问多组件样例程序数据准备好待处理的数据。 运行程序 进入样例工程本地根目录，在Windows命令提示符窗口中执行下面命令进行打包。 mvn -s "{maven_setting_path}" clean package 上述打包命令中的{mave

查看更多 →

e”。开启Kerberos认证的安全集群下把从准备Spark应用开发用户中获取的user.keytab和krb5.conf文件拷贝到Spark客户端conf目录下，如：/opt/client/Spark/spark/conf；未开启Kerberos认证集群可不必拷贝user.keytab和krb5

查看更多 →

配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit

查看更多 →

put_data1.txt，input_data2.txt到此目录，命令如下。 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -put local_filepath /tmp/input

查看更多 →

配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit

查看更多 →

Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在 FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。

查看更多 →

Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。

查看更多 →

多个脚本同时使用kinit命令认证同一个用户的场景下，需要在各个脚本中执行kinit命令之前，先执行export KRB5CCNAME=keytab_path命令，确保每个脚本进程中KRB5CCNAME指向的路径不一致。 父主题： MRS应用开发安全认证说明

查看更多 →

txt，input_data2.txt到此目录，命令如下： 在HDFS客户端，执行如下命令获取安全认证。 cd {客户端安装目录} source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs

查看更多 →

eytab文件，导致executor进程认证失败后不断循环认证，导致了acs进程内存溢出。 处理步骤 重启acs进程。 使用root用户登录主管理节点（即MRS集群详情页面“节点管理”页签下实心五角星所在的Master节点）。 执行如下命令重启进程： su - omm ps -ef|grep

查看更多 →

txt，input_data2.txt到此目录，命令如下： 在HDFS客户端，执行如下命令获取安全认证。 cd /opt/hadoopclient source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs

查看更多 →

txt，input_data2.txt到此目录，命令如下： 在HDFS客户端，执行如下命令获取安全认证。 cd/opt/hadoopclient sourcebigdata_env kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs

查看更多 →

txt，input_data2.txt到此目录，命令如下： 在HDFS客户端，执行如下命令获取安全认证。 cd /opt/hadoopclient source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs

查看更多 →

Hive配置文件。 krb5 MRS_HIVE配置文件。配置文件获取请参考下方获取MRS Hive配置文件。 获取MRS Hive配置文件： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和“user

查看更多 →

txt文件上传至此目录。 在HDFS客户端，执行如下命令获取安全认证。 cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在L

查看更多 →