更新时间:2023-06-02 GMT+08:00

新建MRS SparkSQL数据连接

连接MRS SparkSQL前,需要满足以下条件:

  • 已创建一个包含Spark组件的MRS 2.x之前版本集群,并且请确保MRS集群已关闭Kerberos认证。对于开启Kerberos认证的MRS SparkSQL数据源,DLV暂不支持。
  • 已获取MRS SparkSQL数据源的地址。
  • 为了使DLV大屏与MRS集群网络互通,您需要使用云数据迁移(CDM)集群作为网络代理。请确保在CDM服务中已有可用的集群,且CDM集群与MRS集群必须处在相同的区域、可用区和VPC中,且两者还必须在相同安全组中或者安全组规则允许两者可以正常通信。

    在CDM服务中,您只需要创建一个CDM集群,而不需要做其他任何操作。

新建MRS SparkSQL数据源连接

  1. 登录DLV管理控制台。
  2. “我的数据”页面,单击页面最上方的工作空间下拉列表并选择所需访问的工作空间,然后单击“新建数据连接”

    图1 新建连接

  3. “新建数据连接”窗口中,选择数据源类型“MapReduce服务 MRS SparkSQL”,然后配置相关参数。

    图2 新建MRS SparkSQL数据连接

    连接MRS SparkSQL时,相关参数如表1所示。

    表1 MRS SparkSQL数据连接参数

    参数名

    说明

    名称

    数据连接的名称,只能包含英文字母、中文、数字、“-”“_”,且长度为1~32个字符。

    集群名

    选择可用的MRS集群。

    域名

    选择MRS集群后,自动匹配集群的首选私有IP,不支持修改。

    连接代理

    选择可用的连接代理,如VPC连接、CDM代理、公有网络。

    说明:

    MRS SparkSQL为非全托管服务,DLV无法直接与非全托管服务进行连接。CDM集群提供了DLV与非全托管服务通信的代理。

    数据库名

    单击“获取数据库”,在列表框中选择数据库。

  4. 填写完数据源信息后,单击“确定”即可完成MRS SparkSQL数据连接的添加。

使用MapReduce服务(MRS SparkSQL)数据源

您可以参考使用数据仓库服务(DWS)数据源,配置使用MapReduce服务(MRS SparkSQL)数据源。