更新时间:2024-06-20 GMT+08:00
分享

接入Hive数据源

DataArts Insight支持连接Hive数据源。本文为您介绍如何在DataArts Insight上添加Hive数据源的操作步骤。

DataArts Insight连接Hive有以下网络方式进行连接:

操作前准备

用户连接数据源时,检查是否添加了公网IP/内网(VPCEP)安全组。检查步骤:
  • 登录管理服务控制台。
  • 在服务列表中单击“大数据 > MapReduce服务”进入MRS控制台。
  • 在控制台左上角选择区域。
  • 单击云服务控制台左侧导航栏“MRS集群 ”,进入集群列表。
  • 选择需要连接的集群,单击集群名称,进入集群的概览页面。
  • 单击“网络信息 > 弹性公网IP > 添加安全组规则 > 管理安全组规则 > 入方向规则”,进入安全组入方向规则界面,查看是否添加公网IP/内网(VPCEP)。如果添加,返回DataArts Insight数据源编辑页面连接数据源。如果未添加,则添加安全组。

    如果未绑定弹性公网IP,单击“网络信息 > 弹性公网IP > 绑定 > 管理安全组规则 > 入方向规则”,进行安全组检查或添加。

  • 单击“添加规则”,弹出“添加入方向规则”页面,填写协议端口、源IP地址(公网IP/内网IP)。

    如果需要添加的规则比较多,可单击“快速添加规则”添加。

  • 确认参数无误,单击“确认”,返回DataArts Insight界面连接数据源。

    如果添加安全组后,数据源连接测试失败,可能是用户所连接数据源的SASL_SSL未开启,DataArts Insight编辑数据源页面SASL_SSL开启,导致连接测试失败,这时需要关闭数据源编辑页面的SASL_SSL。

公网方式接入Hive数据源

  1. 登录智能数据洞察控制台
  2. 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据Hive。
  3. 接入网络类型选公网。
  4. 在配置连接对话框,填写以下配置。
    图1 接入Hive数据源参数
    表1 参数说明

    参数名称

    是否必填

    说明

    源库类型

    接入的数据源类型,本示例为Hive。更多数据源类型连接请参考表1

    接入网络类型

    公网方式接入。

    名称

    数据源配置列表的显示名称。

    说明:

    输入不能为空,且名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。

    域名

    数据源的IP地址。

    用户名

    登录云数据库的用户名。

    密码

    登录数据库的密码。

    端口

    对应数据库的登录端口。

    数据库

    登录的数据库名称。

    SASL_SSL

    -

    实现数据源和DataArts Insight之间的可信身份认证与安全数据传输,此开关默认开启。

    说明:

    当用户需要连接MRS安全集群时,需要开启SASL_SSL,当用户连接MRS非安全集群时,关闭SASL_SSL。

    用户名

    连接集群时的用户名。

    安全证书

    安全证书的下载上传步骤:

    • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
    • 单击页面上方的“系统”,进入系统管理界面。
    • 单击“权限 > 用户”,进入本地用户界面,选择用户单击操作列的“更多 > 下载证书凭据”。
    • 证书下载完成后,返回新建数据源界面,单击“上传证书”,证书上传。
      说明:

      上传证书大小不能超过5M,以.tar结尾的文件。

    principal

    获取路径:

    • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
    • 单击页面上方的“主页”,进入主页界面。
    • 单击主页右上角的“更多 > 下载客户端”,弹出下载集群客户端窗口。
    • 参数选择:选择客户端类型“仅配置文件”、选择平台类型“x86_64”,单击“确定”,客户端配置文件下载成功。
    • 解压客户端配置文件,打开“Hive > config > hive-site.xml”文件,搜索“principal”,获取principal值。
      图2 获取principal值
    • 返回新建数据源界面,将获取的principal值输入在“principal”输入如框内。
  5. 单击“连接测试”,进行数据源连通性测试。
  6. 测试成功后单击“确定”,完成数据源添加。

VPC网络连通方式接入Hive数据源

  1. 登录智能数据洞察控制台
  2. 单击管理控制台左上角的,选择区域。
  3. 单击左下角的企业项目选择企业项目。
  4. 从开始创建>新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据Hive。
  5. 接入网络类型MapReduce服务Hive。
  6. 在配置连接对话框,填写以下配置。

    MRS实例选择仅决定连接VPC与子网,与服务器列表无对应关系。

    图3 接入Hive云数据源参数
    表2 参数说明

    参数名称

    是否必填

    说明

    源库类型

    接入的数据源类型,本示例为Hive。更多数据源类型连接请参考表1

    接入网络类型

    MapReduce服务Hive方式接入。

    所属地域

    Hive服务主机所在的局点。

    名称

    数据源配置列表的显示名称,用户自定义。

    说明:

    名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。

    描述

    对连接数据源的描述。

    实例

    Hive服务对应的角色实例。

    服务器列表

    Hive服务器列表。

    数据库

    登录的数据库名称。

    用户名

    登录云数据库的用户名。

    密码

    登录数据库的密码。

    SASL_SSL

    -

    实现数据源和DataArts Insight之间的可信身份认证与安全数据传输,此开关默认开启。

    说明:

    当用户需要连接MRS安全集群时,需要开启SASL_SSL,当用户连接MRS非安全集群时,关闭SASL_SSL。

    用户名

    连接集群时的用户名。

    安全证书

    安全证书的下载上传步骤:

    • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
    • 单击页面上方的“系统”,进入系统管理界面。
    • 单击“权限 > 用户”,进入本地用户界面,选择用户单击操作列的“更多 > 下载证书凭据”。
    • 证书下载完成后,返回新建数据源界面,单击“上传证书”,证书上传。
      说明:

      上传证书大小不能超过5M,以.tar结尾的文件。

    principal

    获取路径:

    • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
    • 单击页面上方的“主页”,进入主页界面。
    • 单击主页右上角的“更多 > 下载客户端”,弹出下载集群客户端窗口。
    • 参数选择:选择客户端类型“仅配置文件”、选择平台类型“x86_64”,单击“确定”,客户端配置文件下载成功。
    • 解压客户端配置文件,打开“Hive > config > hive-site.xml”文件,搜索“principal”,获取principal值。
      图4 获取principal值
    • 返回新建数据源界面,将获取的principal值输入在“principal”输入如框内。
  7. 单击“连接测试”,进行数据源连通性测试。
  8. 测试成功后单击“确定”,完成数据源添加。

终端节点服务连通方式接入Hive数据源

终端节点服务连接支持通过终端节点服务名称连接数据源,增加数据源接入的灵活性,可解决跨账号接入、ECS自搭建数据源接入;同一主账号及其子账号共用一条连接通道;当前接入方式无需权限委托。

  • 前提条件:
    • 在终端节点服务的基本信息界面开启“连接审批”按钮,请参见查看终端节点服务
    • 需要在连接的终端节点服务中添加白名单记录(将本服务的domain ID加入白名单中),请参见管理终端节点服务的白名单
      domain ID在新建数据源页面获取,如所示。
      图5 获取domain ID
  • 操作步骤
    1. 登录DataArts Insight管理控制台
    2. 登录管理控制台。
    3. 单击管理控制台左上角的,选择区域。
    4. 单击左下角的企业项目选择企业项目。
    5. 从“开始创建 > 新建数据源”进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据Hive。
    6. 接入网络类型选终端节点服务。
    7. 在配置连接对话框,填写以下配置。
      图6 终端节点服务连接方式
      表3 参数说明

      参数名称

      是否必填

      说明

      源库类型

      接入的数据源类型,本示例为Hive。更多数据源类型连接请参考表1

      接入网络类型

      终端节点服务方式接入。

      所属地域

      Hive服务主机所在的局点。

      名称

      数据源配置列表的显示名称,用户自定义。

      说明:

      名称长度不能超过32个字符,不少于2个字符,只能由字母、数字和下划线(_)组成,且只能以字母开头。

      描述

      对连接数据源的描述。

      终端节点服务名称

      需要连接的终端节点服务名称。连接终端节点服务的前提条件:

      验证

      -

      填入终端节点服务名称后单击“验证”,终端节点ID处出现绿色的对号,表示验证成功,如果终端终节点ID处出现红色感叹号,表示首次连接,需要“终端节点服务 > 连接管理”界面进行授权,授权请参见管理终端节点服务的连接审批。审批通过后再次单击“验证”,验证通过。

      说明:
      • 不同数据源首次连接终端节点服务都需要审批。
      • 只有管理员账号或者拥有管理员权限的账号才可以审批,如果当前账号没有审批权限,请联系管理员账号进行审批。

      终端节点ID

      填入终端节点服务名称后,单击“验证”,终端节点ID自动填充。

      端口

      对应数据库的登录端口。

      数据库

      登录的数据库名称。

      用户名

      登录云数据库的用户名。

      密码

      登录数据库的密码。

      SASL_SSL

      -

      实现数据源和DataArts Insight之间的可信身份认证与安全数据传输,此开关默认开启。

      说明:

      当用户需要连接MRS安全集群时,需要开启SASL_SSL,当用户连接MRS非安全集群时,关闭SASL_SSL。

      用户名

      连接集群时的用户名。

      安全证书

      安全证书的下载上传步骤:

      • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
      • 单击页面上方的“系统”,进入系统管理界面。
      • 单击“权限 > 用户”,进入本地用户界面,选择用户单击操作列的“更多 > 下载证书凭据”。
      • 证书下载完成后,返回新建数据源界面,单击“上传证书”,证书上传。
        说明:

        上传证书大小不能超过5M,以.tar结尾的文件。

      principal

      获取路径:

      • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
      • 单击页面上方的“主页”,进入主页界面。
      • 单击主页右上角的“更多 > 下载客户端”,弹出下载集群客户端窗口。
      • 参数选择:选择客户端类型“仅配置文件”、选择平台类型“x86_64”,单击“确定”,客户端配置文件下载成功。
      • 解压客户端配置文件,打开“Hive > config > hive-site.xml”文件,搜索“principal”,获取principal值。
        图7 获取principal值
      • 返回新建数据源界面,将获取的principal值输入在“principal”输入如框内。
    8. 单击“连接测试”,进行数据源连通性测试。
    9. 测试成功后单击“确定”,完成数据源添加。

相关文档