- 最新动态
- 服务公告
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- HBase用户指南
- Doris用户指南
- ClickHouse用户指南
- 权限管理
- 审计日志
- 集群日志管理
- 最佳实践
- 开发指南
- API参考
- SDK参考
-
常见问题
-
通用类
- CloudTable集群能够提供什么服务?
- 为什么要选择CloudTable服务?
- 创建CloudTable HBase集群要准备什么?
- 使用CloudTable服务时需要关注什么?
- CloudTable HBase集群支持哪些压缩算法?
- 能停止CloudTable服务吗?
- CloudTable中的HBase外部接口支持哪些编程语言?
- 故障RegionServer个数怎么判断?
- CloudTable HBase支持的特殊符号?
- CloudTable数据进行删除,导致索引表和数据表不对应查询异常处理办法?
- python通过thrift访问cloudtable,多个任务并行缓慢
- 如何查看HBase shell的TTL属性?
- 服务器资源为什么会被释放?
- 资源停止服务或逾期释放说明
- 哪些场景会影响数据均衡?
- 如何调整数据均衡的灵敏度,调整后有哪些影响?
- Doris集群回收站数据处理
- 连接访问类
- 数据读写类
- 数据导入
- 网络配置
- 计费类
-
通用类
- 文档下载
- 通用参考
展开导读
链接复制成功!
使用catalog连接非安全认证hive on obs
通过CloudTable集群管理面创建MRS Hive连接。
目前CloudTable Doris暂不支持使用Catalog对接数据存储在并行文件系统的OBS MRS Hive集群 。
创建MRS Hive连接步骤
- 登录表格存储服务管理控制台。
- 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。
- 单击tab页中的“连接设置”,弹出连接页面。
- 单击左上角“新建连接”创建MRS Hive连接。
- 新建连接类型:非安全认证hive on OBS,认证类型选择SIMPLE,OBS按钮开启状态。
表1 参数说明 参数
描述
名称
根据连接的数据源类型,用户可以自定义连接名。
说明:
必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~64个字符。
连接器
Doris支持的外部数据目录组件,目前支持可选:Hive。
Hadoop类型
Doris支持hadoop组件,目前支持的可选:MRS。
集群名称
MRS集群名称。
说明:
Doris只能对接一个kerberos集群中的一个用户。
Manager IP
MRS Manager的浮动IP地址,选择连接的集群后,ip地址会自动填充。
认证类型
MRS集群鉴权类型,安全集群可选“KERBEROS”,非安全集群可选“SIMPLE”。选择连接的集群后,安全类型会自动填充。
连接器版本
MRS集群的数据源组件的版本,HIVE支持3版本,可选:3.X。
用户名
MRS集群的用户名。
密码
MRS集群mrs_user_name对应的密码。
OBS支持
打开按钮,则支持OBS。关闭按钮则不支持OBS。
- 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。
- 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。
SQL命令
- 创建CATALOG的SQL命令以及参数说明。
CREATE CATALOG hive_catalog_simple_obs PROPERTIES ( 'type'='hms', 'hive.metastore.uris'='thrift://192.x.x.x:port,thrift://192.x.x.x:port', 'AWS_ACCESS_KEY' = '***', 'AWS_SECRET_KEY' = '***', 'AWS_ENDPOINT' = 'obs.cn-north-7.ulanqab.huawei.com', 'AWS_REGION' = 'cn-north-7', 'hive.metastore.sasl.enabled' = 'false', 'hive.version' = '3.1.0', 'yarn.resourcemanager.address' = '192.X.X.X:port', 'yarn.resourcemanager.principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM' );
表2 参数说明 参数
说明
type
对接外部数据类型。
hive.metastore.uris
hive元数据uri,可在hive-site.xml配置文件查看。
AWS_ACCESS_KEY
access key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。
AWS_SECRET_KEY
secret key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。
AWS_ENDPOINT
obs地址,获取方式见请参见对象存储服务的获取终端节点章节。
AWS_REGION
obs region,在obs页面查看。
hive.metastore.sasl.enabled
hive元数据uri,可在hive-site.xml配置文件查看。
hive.version
Hive版本。
yarn.resourcemanager.address
- 可在yarn-site.xml配置文件查看。
- 获取参数步骤:
- 登录MRS集群的Manager页面。
- 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。
- 查看地址,返回实例界面查看。
yarn.resourcemanager.principal
- 可在yarn-site.xml配置文件查看。
- 获取参数步骤:
- 登录MRS集群的Manager页面。
- 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。
- 参数获取方法。
- 连接mrs集群,请参见使用mrs客户端章节。
- 进入client目录下,显示出MRS的全部组件,目前使用的组件有HDFS和Hive组件。
cd /opt/Bigdata/client/
说明:
HDFS组件中包含了core-site.xml、hdfs-site.xml配置文件,Hive组件中包含了hive-site.xml配置。
- 进入组件中的配置文件查看参数。
- HDFS组件查看。
cd ./HDFS/hadoop/etc/
进入hadoop目录。
cd hadoop/hdfs-site.xml
打开hdfs-site.xml配置文件,查找相关参数。
vim hdfs-site.xml
- Hive组件查看。
/opt/Bigdata/client/Hive/config/hive-site.xml
打开hive-site.xml配置文件,查找相关参数。
vim hive-site.xml
说明:
catalog中的obs指的是obs桶,不是obs并行文件系统,目前还不支持obs并行文件系统。
- HDFS组件查看。