配置Hive存算分离
MRS支持用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离场景。用户通过IAM服务的“委托”机制进行简单配置,即可实现OBS的访问。
本章节指导用户创建Hive表存放数据到OBS,基本内容如下所示:
为MRS集群配置委托
配置存算分离支持在新建集群中配置委托实现,也可以通过为已有集群绑定委托实现。本示例以为已有集群配置委托为例介绍。
- 登录MRS控制台,在导航栏选择“集群列表 > 现有集群”。
- 单击集群名称,进入集群详情页面。
- 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。
- 在集群详情页的“概览”页签,单击“委托”右侧的“管理委托”选择创建ECS委托的委托并单击“确定”进行绑定,或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。图3 绑定委托
Hive访问OBS文件系统
- 用root用户登录集群Master节点,具体请参见登录集群节点。
- 验证Hive访问OBS。
- 用root用户登录集群Master节点,执行如下命令:
source bigdata_env
source Hive/component_env
- 查看文件系统mrs-demo01下面的文件列表。
- 返回文件列表即表示访问OBS成功。
- 执行以下命令进行用户认证(普通模式即未开启Kerberos认证无需执行此步骤)。
kinit hive
输入用户hive密码,默认密码为Hive@123,第一次使用需要修改密码。
- 执行Hive组件的客户端命令。
- 在beeline中直接使用OBS的目录进行访问。例如,执行如下命令创建Hive表并指定数据存储在mrs-demo01文件系统的test_demo01目录中。
create table test_demo01(name string) location "obs://mrs-demo01/test_demo01";
- 执行如下命令查询所有表,返回结果中存在表test_demo01,即表示访问OBS成功。
- 查看表的Location。
show create table test_demo01;
查看表的Location是否为“obs://OBS桶名/”开头。
- 写入数据。
insert into test_demo01 values('mm'),('ww'),('ww');
执行select * from test_demo01;查询是否写入成功。
- 执行命令!q退出beeline客户端。
- 重新登录OBS控制台。
- 单击“并行文件系统”, 选择创建的文件系统名称。
- 单击“文件”,查看是否存在创建的数据。
- 用root用户登录集群Master节点,执行如下命令:
