更新时间:2022-12-14 GMT+08:00
从零开始使用HetuEngine
本章节指导用户从零开始使用HetuEngine对接Hive数据源,并通过HetuEngine查询本集群Hive数据源的数据库表。
前提条件
- 集群已安装HetuEngine、Hive服务且运行正常。
- 如集群已启用Kerberos认证,需提前创建HetuEngine的用户并授予相关权限,具体操作请参见创建HetuEngine用户。且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限,具体操作请参考添加HetuEngine的Ranger访问权限策略。
- 已安装集群客户端,例如安装目录为“/opt/client”。
操作步骤
- 创建并启动HetuEngine计算实例。
- 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
- 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。
- 在实例列表上方单击“创建配置”,在“配置实例”弹框内填写参数。
- 在“基本配置”区域中,选择“所属资源队列”为用户所关联的租户队列。
- 根据实际资源规划配置“Coordinator容器资源配置”、“Worker容器资源配置”以及“高级配置”区域相关参数,参数详情可参考创建HetuEngine计算实例章节或保持默认值即可。
- 配置完成后勾选“立即启动”,等待实例配置完成。
- 登录安装有HetuEngine客户端的节点,执行以下命令,切换到客户端安装目录。
cd /opt/client
- 执行以下命令,配置环境变量。
source bigdata_env
- 安全模式集群,执行以下命令进行安全认证,普通模式集群,请跳过本步骤。
kinit HetuEngine组件操作用户
例如:
kinit hetu_test
根据提示输入用户密码,首次登录需重置密码。
- 执行以下命令,登录数据源的catalog。
hetu-cli --catalog 数据源名称
例如执行以下命令:
hetu-cli --catalog hive
java -Djava.security.auth.login.config=/opt/client/HetuEngine/hetuserver/conf/jaas.conf -Dzookeeper.sasl.clientconfig=Client -Dzookeeper.auth.type=kerberos -Djava.security.krb5.conf=/opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf -Djava.util.logging.config.file=/opt/client/HetuEngine/hetuserver/conf/hetuserver-client-logging.properties -jar /opt/client/HetuEngine/hetuserver/jars/hetu-cli-*-executable.jar --catalog hive --deployment-mode on_yarn --server https://10.112.17.189:24002,10.112.17.228:24002,10.112.17.150:24002?serviceDiscoveryMode=zooKeeper&zooKeeperNamespace=hsbroker --krb5-remote-service-name HTTP --krb5-config-path /opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf hetuengine>
- 执行以下命令,查看数据库信息:
show schemas;
Schema -------------------- default information_schema (2 rows) Query 20200730_080535_00002_ct2eg, FINISHED, 3 nodes Splits: 36 total, 36 done (100.00%) 0:02 [2 rows, 35B] [0 rows/s, 15B/s]
父主题: 使用HetuEngine