更新时间:2024-10-22 GMT+08:00
分享

接入Hive数据源

DataArts Insight支持连接Hive数据源。本文为您介绍如何在DataArts Insight上添加Hive数据源的操作步骤。

DataArts Insight连接Hive有以下网络方式:

操作前准备

用户连接数据源时,检查是否添加了公网IP/内网(VPCEP)安全组。检查步骤:
  • 登录管理服务控制台。
  • 在服务列表中单击“大数据 > MapReduce服务”进入MRS控制台。
  • 在控制台左上角选择区域。
  • 单击云服务控制台左侧导航栏“MRS集群 ”,进入集群列表。
  • 选择需要连接的集群,单击集群名称,进入集群的概览页面。
  • 单击“网络信息 > 弹性公网IP > 添加安全组规则 > 管理安全组规则 > 入方向规则”,进入安全组入方向规则界面,查看是否添加公网IP/内网(VPCEP)。如果添加,返回DataArts Insight数据源编辑页面连接数据源。如果未添加,则添加安全组。

    如果未绑定弹性公网IP,单击“网络信息 > 弹性公网IP > 绑定 > 管理安全组规则 > 入方向规则”,进行安全组检查或添加。

  • 单击“添加规则”,弹出“添加入方向规则”页面,填写协议端口、源IP地址(公网IP/内网IP)。

    如果需要添加的规则比较多,可单击“快速添加规则”添加。

  • 确认参数无误,单击“确认”,返回DataArts Insight界面连接数据源。
    1. 如果添加安全组后,数据源连接测试失败,可能是用户所连接数据源的SASL_SSL未开启,DataArts Insight编辑数据源页面SASL_SSL开启,导致连接测试失败,这时需要关闭数据源编辑页面的SASL_SSL。
    2. 源IP地址获取方式:
      • 公网IP:进入弹性负载均衡服务,在负载均衡器界面查询本数据源的弹性负载均衡的IP地址。
      • 内网IP:使用manage_admin账号登录Manage One运营面,进入VPC终端节点服务,在终端节点界面按名称搜索DII-INGEST-VM,剩余的终端节点服务对应的IP地址即为源IP地址。

公网方式接入Hive数据源

  1. 登录智能数据洞察控制台
  2. 从新建数据源进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据Hive。
  3. 接入网络类型选公网。
  4. 在配置连接对话框,填写以下配置。

    图1 接入Hive数据源参数
    表1 参数说明

    参数名称

    是否必填

    说明

    源库类型

    接入的数据源类型,本示例为Hive。更多数据源类型连接请参考表1

    接入网络类型

    公网方式接入。

    名称

    数据源配置列表的显示名称。

    域名

    数据源的IP地址。

    用户名

    登录云数据库的用户名。

    密码

    登录数据库的密码。

    端口

    对应数据库的登录端口。

    数据库

    登录的数据库名称。

    SASL_SSL

    -

    实现数据源和DataArts Insight之间的可信身份认证与安全数据传输,此开关默认开启。

    说明:

    当用户需要连接MRS安全集群时,需要开启SASL_SSL,当用户连接MRS非安全集群时,关闭SASL_SSL。

    用户名

    连接集群时的用户名。

    安全证书

    安全证书的下载上传步骤:

    • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
    • 单击页面上方的“系统”,进入系统管理界面。
    • 单击“权限 > 用户”,进入本地用户界面,选择用户单击操作列的“更多 > 下载证书凭据”。
    • 证书下载完成后,返回新建数据源界面,单击“上传证书”,证书上传。
      说明:

      上传证书大小不能超过5M,以.tar结尾的文件。

    principal

    获取路径:

    • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
    • 单击页面上方的“主页”,进入主页界面。
    • 单击主页右上角的“更多 > 下载客户端”,弹出下载集群客户端窗口。
    • 参数选择:选择客户端类型“仅配置文件”、选择平台类型“x86_64”,单击“确定”,客户端配置文件下载成功。
    • 解压客户端配置文件,打开“Hive > config > hive-site.xml”文件,搜索“principal”,获取principal值。
      图2 获取principal值
    • 返回新建数据源界面,将获取的principal值输入在“principal”输入框内。
  5. 单击“连接测试”,进行数据源连通性测试。
  6. 测试成功后单击“确定”,完成数据源添加。

VPC网络连通方式接入Hive数据源

  1. 登录智能数据洞察控制台
  2. 单击管理控制台左上角的,选择区域。
  3. 单击左下角的企业项目选择企业项目。
  4. 选择需要操作的项目,单击项目名称进入项目空间。
  5. 从“数据源 > 新建数据源”进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据Hive。
  6. 接入网络类型MapReduce服务Hive。
  7. 在配置连接对话框,填写以下配置。

    MRS实例选择仅决定连接VPC与子网,与服务器列表无对应关系。

    图3 接入Hive云数据源参数
    表2 参数说明

    参数名称

    是否必填

    说明

    源库类型

    接入的数据源类型,本示例为Hive。更多数据源类型连接请参考表1

    接入网络类型

    MapReduce服务Hive方式接入。

    所属地域

    Hive服务主机所在的局点。

    名称

    数据源配置列表的显示名称,用户自定义。

    描述

    对连接数据源的描述。

    实例

    Hive服务对应的角色实例。

    服务器列表

    Hive服务器列表。

    数据库

    登录的数据库名称。

    用户名

    登录云数据库的用户名。

    密码

    登录数据库的密码。

    SASL_SSL

    -

    实现数据源和DataArts Insight之间的可信身份认证与安全数据传输,此开关默认开启。

    说明:

    当用户需要连接MRS安全集群时,需要开启SASL_SSL,当用户连接MRS非安全集群时,关闭SASL_SSL。

    用户名

    连接集群时的用户名。

    安全证书

    安全证书的下载上传步骤:

    • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
    • 单击页面上方的“系统”,进入系统管理界面。
    • 单击“权限 > 用户”,进入本地用户界面,选择用户单击操作列的“更多 > 下载证书凭据”。
    • 证书下载完成后,返回新建数据源界面,单击“上传证书”,证书上传。
      说明:

      上传证书大小不能超过5M,以.tar结尾的文件。

    principal

    获取路径:

    • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
    • 单击页面上方的“主页”,进入主页界面。
    • 单击主页右上角的“更多 > 下载客户端”,弹出下载集群客户端窗口。
    • 参数选择:选择客户端类型“仅配置文件”、选择平台类型“x86_64”,单击“确定”,客户端配置文件下载成功。
    • 解压客户端配置文件,打开“Hive > config > hive-site.xml”文件,搜索“principal”,获取principal值。
      图4 获取principal值
    • 返回新建数据源界面,将获取的principal值输入在“principal”输入框内。
  8. 单击“连接测试”,进行数据源连通性测试。
  9. 测试成功后单击“确定”,完成数据源添加。

终端节点服务连通方式接入Hive数据源

终端节点服务连接支持通过终端节点服务名称连接数据源,增加数据源接入的灵活性,可解决跨账号接入、ECS自搭建数据源接入;同一主账号及其子账号共用一条连接通道;当前接入方式无需权限委托。

  • 前提条件:
    • 在终端节点服务的基本信息界面开启“连接审批”按钮,请参见查看终端节点服务
    • 需要在连接的终端节点服务中添加白名单记录(将本服务的domain ID加入白名单中),请参见管理终端节点服务的白名单
      domain ID在新建数据源页面获取,如所示。
      图5 获取domain ID
  • 操作步骤
    1. 登录DataArts Insight管理控制台
    2. 登录管理控制台。
    3. 单击管理控制台左上角的,选择区域。
    4. 单击左下角的企业项目选择企业项目。
    5. 从“开始创建 > 新建数据源”进入创建数据源页面,选择要创建数据源所在的项目,源库类型选择数据Hive。
    6. 接入网络类型选终端节点服务。
    7. 在配置连接对话框,填写以下配置。
      图6 终端节点服务连接方式
      表3 参数说明

      参数名称

      是否必填

      说明

      源库类型

      接入的数据源类型,本示例为Hive。更多数据源类型连接请参考表1

      接入网络类型

      终端节点服务方式接入。

      所属地域

      Hive服务主机所在的局点。

      名称

      数据源配置列表的显示名称,用户自定义。

      描述

      对连接数据源的描述。

      终端节点服务名称

      需要连接的终端节点服务名称。连接终端节点服务的前提条件:

      验证

      -

      填入终端节点服务名称后单击“验证”,终端节点ID处出现绿色的对号,表示验证成功,如果终端终节点ID处出现红色感叹号,表示首次连接,需要“终端节点服务 > 连接管理”界面进行授权,授权请参见管理终端节点服务的连接审批。审批通过后再次单击“验证”,验证通过。

      说明:
      • 不同数据源首次连接终端节点服务都需要审批。
      • 只有管理员账号或者拥有管理员权限的账号才可以审批,如果当前账号没有审批权限,请联系管理员账号进行审批。

      终端节点ID

      填入终端节点服务名称后,单击“验证”,终端节点ID自动填充。

      端口

      对应数据库的登录端口。

      数据库

      登录的数据库名称。

      用户名

      登录云数据库的用户名。

      密码

      登录数据库的密码。

      SASL_SSL

      -

      实现数据源和DataArts Insight之间的可信身份认证与安全数据传输,此开关默认开启。

      说明:

      当用户需要连接MRS安全集群时,需要开启SASL_SSL,当用户连接MRS非安全集群时,关闭SASL_SSL。

      用户名

      连接集群时的用户名。

      安全证书

      安全证书的下载上传步骤:

      • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
      • 单击页面上方的“系统”,进入系统管理界面。
      • 单击“权限 > 用户”,进入本地用户界面,选择用户单击操作列的“更多 > 下载证书凭据”。
      • 证书下载完成后,返回新建数据源界面,单击“上传证书”,证书上传。
        说明:

        上传证书大小不能超过5M,以.tar结尾的文件。

      principal

      获取路径:

      • 登录MRS集群的Manager页面(概览 > 运维管理 > 集群管理页面)。
      • 单击页面上方的“主页”,进入主页界面。
      • 单击主页右上角的“更多 > 下载客户端”,弹出下载集群客户端窗口。
      • 参数选择:选择客户端类型“仅配置文件”、选择平台类型“x86_64”,单击“确定”,客户端配置文件下载成功。
      • 解压客户端配置文件,打开“Hive > config > hive-site.xml”文件,搜索“principal”,获取principal值。
        图7 获取principal值
      • 返回新建数据源界面,将获取的principal值输入在“principal”输入框内。
    8. 单击“连接测试”,进行数据源连通性测试。
    9. 测试成功后单击“确定”,完成数据源添加。

相关文档