更新时间:2022-08-29 GMT+08:00

MRS配置

DLI跨源连接中配置MRS主机信息

  1. 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。
  2. 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。

    详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。

开启Kerberos认证时的相关配置文件

  1. 参考《从零开始使用Kerberos认证集群》中的“创建安全集群并登录其Manager”章节创建Kerberos认证集群。参考“创建角色和用户”章节添加用户并赋权。
  2. 参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。
  3. 登录Manager界面,选择“系统 > 权限 > 用户”,选择新建用户,选择“更多 > 下载认证凭据”,保存后解压得到用户的keytab文件与krb5.conf文件。

创建MRS HBase表

创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例,具体的流程是:

  1. 远程登录ECS,通过hbase shell命令查看表信息。其中,“hbtest”是要查询的表名。
    describe 'hbtest'
  2. (可选)如果不存在对应的HBase表,可以创建该表,具体的命令是:
    create ‘hbtest’, ‘info’, ‘detail’

    其中,“hbtest”是表名,其余为列族名。

  3. 配置好连接信息。“TableName”对应HBase表的表名。