txt，input_data2.txt到此目录，命令如下： 在HDFS客户端，执行如下命令获取安全认证。 cd/opt/hadoopclient sourcebigdata_env kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →

表示数据是插入还是删除，可选值为add和delete，默认值为add。 krb_auth 否 创建跨源认证的认证名。开启kerberos认证时，需配置该参数，填写对应的跨源认证名称。跨源认证创建详见创建跨源认证。 说明： 请确保在 DLI 队列host文件中添加 MRS 集群master节点的“/etc/hosts”信息。

查看更多 →

ta”文件到此目录，命令如下： 登录HDFS客户端节点，执行如下命令： cd{客户端安装目录} sourcebigdata_env kinit<用于认证的业务用户> 执行如下命令创建目录“/home”。 hdfs dfs -mkdir /home 执行如下命令上传数据文件。 hdfs

查看更多 →

ame和krb5ConfName值对应从准备HBase应用开发用户中获取的认证相关文件名称，如下（未开启Kerberos认证集群可跳过此步）： user.name=hbaseuser userKeytabName=user.keytab krb5ConfName=krb5.conf

查看更多 →

AME”为实际用户名，例如“developuser”。 KRB5_FILE = userdir + "krb5.conf"; System.setProperty("java.security.krb5.conf", KRB5_FILE); USER_NAME = "developuser";

查看更多 →

txt文件上传至此目录。 在HDFS客户端，执行如下命令获取安全认证。 cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 在L

查看更多 →

credentials from Ticket Cache [Krb5LoginModule] authentication failed No password provided 可能原因 客户端用户没有进行安全认证 kerberos认证超期 解决方案 登录Hive客户端所在节点。 执行source

查看更多 →

表示数据是插入还是删除，可选值为add和delete，默认值为add。 krb_auth 否 创建跨源认证的认证名。开启kerberos认证时，需配置该参数，填写对应的跨源认证名称。跨源认证创建详见创建跨源认证。 说明： 请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。

查看更多 →

CDM 支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS HBase，MRS Hive。 FusionInsight 集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。 Apache集群：Apache

查看更多 →

xml”放入工程的conf目录中。 登录MRS Manager，选择“系统设置 > 用户管理”。 在用户名中选择一个拥有Hive权限的用户，然后在右侧“操作”列中选择“更多 >下载认证凭据”，保存后解压得到用户的user.keytab文件与krb5.conf文件。 将krb5.conf文件中Mas

查看更多 →

将user.keytab、krb5.conf 两个文件上传客户端所在 服务器 上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。

查看更多 →

打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。

查看更多 →

Loader”，则执行如下命令。 cd /opt/hadoopclient/Loader/loader-tools-1.99.3 执行以下命令，对非加密密码进行加密。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

hive-site.xml hivemetastore-site.xml krb5.conf（可选，安全模式集群使用） Apache集群场景下，此处仅说明认证凭据文件打包原则，认证凭据文件具体获取方式请参见对应版本说明文档。 将用户的认证凭据文件重命名为user.keytab。 将user.ke

查看更多 →

常运行。 安全认证有两种方式： 命令行认证： 提交Oozie应用程序运行前，在Oozie客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证（Kerberos安全认证）： 通过获取客户端的principal和keytab文件在应用程序中进行认证，用于Kerberos安

查看更多 →

够正常运行。 安全认证有两种方式： 命令行认证： 提交Oozie应用程序运行前，在Oozie客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证（Kerberos安全认证）： 通过获取客户端的principal和keytab文件在应用程序中进行认证，用于Kerbero

查看更多 →

user 用于Kerberos认证的用户名，即准备Presto应用开发用户中创建的开发用户的用户名。 KerberosPrincipal 用于认证的名字，即认证准备Presto应用开发用户中创建的开发用户的用户名。 KerberosConfigPath krb5.conf的路径。 KerberosKeytabPath

查看更多 →

Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。

查看更多 →

导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例

查看更多 →