更新时间:2024-06-14 GMT+08:00
分享

准备Spark应用开发用户

前提条件

MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。

操作场景

开发用户用于运行样例工程。用户需要有HDFS、YARN和Hive权限,才能运行Spark样例工程。

操作步骤

  1. 登录MRS Manager,请参考登录MRS Manager
  2. 在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。

    1. 填写角色的名称,例如sparkrole。
    2. 在“权限”表格中选择“HBase > HBase Scope > global”,勾选default的“Create”。
    3. 在“权限”的表格中选择“HBase > HBase Scope > global > hbase”,勾选hbase:meta的“Execute”。
    4. 修改角色,在“权限”的表格中选择“HDFS > File System ”,勾选“Read”、“Write”和“Execute”。
    5. 在“权限”的表格中选择“HDFS > File System > hdfs://hacluster/ > user >hive”,勾选“Execute”。
    6. 在“权限”的表格中选择“HDFS > File System > hdfs://hacluster/ >user >hive > warehouse”,勾选“Read”、“Write”和“Execute”。
    7. 在“权限”的表格中选择“Hive > Hive Read Write Privileges”,勾选default的“Create”。
    8. 在“权限”的表格中选择“Yarn > Scheduler Queue > root”,勾选default的“Submit”。
    9. 单击“确定”保存。

  3. 在MRS Manager界面选择“系统设置>用户管理>添加用户”,为样例工程创建一个用户。填写用户名例如sparkuser,用户类型为“机机”用户,加入用户组supergroupkafkaadmin,设置其“主组”为supergroup,并绑定角色sparkrole取得权限,单击“确定”。

    Spark Streaming程序使用的用户需要加kafkaadmin组权限,用来操作Kafka组件。

  4. 在MRS Manager界面选择“系统设置>用户管理”,在用户名中选择sparkuser,单击操作中下载认证凭据文件,保存后解压得到用户的keytab文件与krb5.conf文件。用于在样例工程中进行安全认证,具体使用请参考准备认证机制代码。

相关文档