从零开始使用HBase
MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka等大数据组件 。
本入门以不开启Kerberos认证的集群为例提供从零开始使用HBase的操作指导,通过登录HBase客户端后创建表,往表中插入数据并修改表数据。
视频介绍
使用HBase客户端创建表操作案例可参考使用HBase客户端创建表,该视频以关闭Kerberos认证的MRS 3.1.0版本集群为例,介绍MRS集群创建成功后,如何使用HBase客户端创建表,往表中插入数据及修改表数据等操作。
因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。
准备MRS集群
- 购买集群。
- 进入购买MRS集群页面。
- 选择“自定义购买”。
- 参考下列软件配置参数说明填写配置,并单击“下一步”。
- “区域”请根据需要选择。
- “计费模式”选择“按需计费”。
- “集群名称”填写“mrs_demo”或按命名规范命名。
- “版本类型”选择“普通版”。
- “集群版本”选择“MRS 3.1.0”。
图1 软件配置界面
- “集群类型”选择“分析集群”,并勾选HBase组件。
图2 选择集群类型和组件
- 在“硬件配置”页面,参考表1填写配置。单击“下一步”。
表1 MRS集群硬件配置 参数名称
示例
可用区
可用区2
企业项目
default
虚拟私有云
保持默认不修改,也可单击“查看虚拟私有云”重新创建。
弹性公网IP
可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“管理弹性公网IP”进入弹性公网IP服务进行创建。
图3 硬件配置
- 高级设置。
- 在“高级配置”页面,参考表2填写配置并单击“下一步”。
表2 MRS集群高级配置参数 参数名称
示例
Kerberos认证
不开启
密码
Test@!123456
确认密码
Test@!123456
登录方式
密码
密码
Test@#123456
确认密码
Test@#123456
图4 高级配置
- 在“确认配置”页面检查配置集群信息,如需调整配置,可单击,跳转到对应页签后重新设置参数。
- 勾选“确认授权”开通通信安全授权,单击“立即购买”,进入任务提交成功页面。
- 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。
- 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
- 在“高级配置”页面,参考表2填写配置并单击“下一步”。
安装HBase客户端
- 在“集群列表 > 现有集群”列表中,单击名称“mrs_demo”,进入集群信息页面。
- 单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中配置弹性IP信息,单击“确定”,输入用户名和密码进入Manager界面。
图5 从管理控制台登录Manager界面
- 在Manager界面,选择“集群 > 服务 > HBase > 更多 > 下载客户端”,选择“完整客户端”、对应的平台类型,勾选“仅保存到如下路径”,单击“确定”。
图6 下载集群客户端
- 以root用户登录主管理节点。
主管理节点可参考如何确认主备管理节点查看。
- 进入安装包所在目录,执行如下命令解压、校验安装包。并解压获取的安装文件。
cd /tmp/FusionInsight-Client
tar -xvf FusionInsight_Cluster_1_HBase_Client.tar
sha256sum -c FusionInsight_Cluster_1_HBase_ClientConfig.tar.sha256
tar -xvf FusionInsight_Cluster_1_HBase_ClientConfig.tar
- 进入安装包所在目录,执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/hbaseclient”目录。
cd /tmp/FusionInsight-Client/FusionInsight_Cluster_1_HBase_ClientConfig
执行./install.sh /opt/hbaseclient命令,等待客户端安装完成。
- 检查客户端是否安装成功。
cd /opt/hbaseclient
source bigdata_env
hbase shell
执行成功则说明HBase客户端安装成功。
使用HBase客户端创建表
- 登录Master节点(VNC方式)。
- 在MRS控制台界面,选择“集群列表 > 现有集群”,在列表中选择“mrs_demo”名称,选择“节点管理”,单击Master节点类型中名称包含“master1”的节点,跳转至该节点的弹性云服务器详情页面。
图7 进入Master1节点所在界面
- 单击页面右上角的“远程登录”,远程登录Master节点。使用root用户登录,密码为购买集群时设置的密码。
图8 远程登录Mater1节点
- 在MRS控制台界面,选择“集群列表 > 现有集群”,在列表中选择“mrs_demo”名称,选择“节点管理”,单击Master节点类型中名称包含“master1”的节点,跳转至该节点的弹性云服务器详情页面。
- 执行以下命令切换到客户端目录。
cd /opt/hbaseclient
- 执行以下命令配置环境变量。
source bigdata_env
若集群开启Kerberos认证,需执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限。
例如:
kinit hbaseuser
- 执行以下命令进入HBase Shell命令行。
hbase shell
- 运行HBase客户端命令,创建表“user_info”。
- 创建表“user_info”并添加相关数据。
create 'user_info',{NAME => 'i'}
put 'user_info','12005000201','i:name','A'
put 'user_info','12005000201','i:gender','Male'
put 'user_info','12005000201','i:age','19'
put 'user_info','12005000201','i:address','City A'
- 在用户信息表“user_info”中新增用户的学历、职称信息。
put 'user_info','12005000201','i:degree','master'
put 'user_info','12005000201','i:pose','manager'
- 根据用户编号查询用户姓名和地址。
scan'user_info',{STARTROW=>'12005000201',STOPROW=>'12005000201',COLUMNS=>['i:name','i:address']}
ROW COLUMN+CELL 12005000201 column=i:address, timestamp=2021-10-30T10:21:42.196, value=City A 12005000201 column=i:name, timestamp=2021-10-30T10:21:18.594, value=A 1 row(s) Took 0.0996 seconds
- 根据用户姓名进行查询。
scan'user_info',{FILTER=>"SingleColumnValueFilter('i','name',=,'binary:A')"}
ROW COLUMN+CELL 12005000201 column=i:address, timestamp=2021-10-30T10:21:42.196, value=City A 12005000201 column=i:age, timestamp=2021-10-30T10:21:30.777, value=19 12005000201 column=i:degree, timestamp=2021-10-30T10:21:53.284, value=master 12005000201 column=i:gender, timestamp=2021-10-30T10:21:18.711, value=Male 12005000201 column=i:name, timestamp=2021-10-30T10:21:18.594, value=A 12005000201 column=i:pose, timestamp=2021-10-30T10:22:07.152, value=manager 1 row(s) Took 0.2158 seconds
- 删除用户信息表中该用户的数据。
- 删除用户信息表。
drop 'user_info'
- 创建表“user_info”并添加相关数据。