接入MRS HDFS数据源

概述

ROMA Connect支持把MRS HDFS作为一个数据源，并用于数据集成任务。在使用MRS HDFS数据源前，您需要先接入数据源。

若两个数据集成任务分别使用了不同版本的MRS数据源（包含MRS Hive、MRS HDFS和MRS HBase），且该MRS数据源均开启了Kerberos认证，则这两个数据集成任务不能同时运行，否则会导致集成任务运行失败。

前提条件

• 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。
• 已为机机交互用户配置执行权限，具体请参考《MRS 开发指南》的“HDFS应用开发 > 环境准备 > 准备开发用户”章节。

操作步骤

1. 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。
2. 在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。
3. 在接入数据源页面的“默认数据源”页签下，选择“MRS HDFS”类型的数据源，然后单击“下一步”。
4. 在页面中配置数据源的连接信息。

   表1 数据源连接信息

   参数	配置说明
   数据源名称	填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。
   集成应用	选择数据源所归属的集成应用。
   描述	填写数据源的描述信息。
   HDFS URL	若使用根目录，可填写“hdfs:///hacluster”，需要用户具有管理员权限。 若使用用户规划的目录，可填写具体目录。 若使用用户数据库目录，如“/user/hdfs/testdb”，需要用户具有对应目录的权限。
   机机交互用户名	填写连接MRS HDFS的机机类型用户名。
   上传配置文件	单击“上传文件”，上传MRS HDFS配置文件。配置文件获取请参考获取MRS HDFS配置文件。

   获取MRS HDFS配置文件

   1. 获取“krb5.conf”和“user.keytab”文件。

      参考《MRS 用户指南》的“下载用户认证文件”章节，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。

   2. 获取“core-site.xml”、“hdfs-site.xml”和“hosts”文件。

      参考《MRS 用户指南》的“使用MRS客户端 > 更新客户端”章节，在MRS控制台下载客户端配置文件，解压后：

      • 从“xxx_Services_ClientConfig_ConfigFiles”路径中得到“hosts”文件。
      • 从“xxx_Services_ClientConfig_ConfigFiles > HDFS > config”路径中得到“core-site.xml”、“hdfs-site.xml”文件。
   3. 生成MRS HDFS配置文件。

      将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。

      

      • 文件名只能由英文字母或数字组成，长度不超过255个字符。
      • 文件大小不超过2MB。
5. 完成数据源接入配置后，单击“开始检测”，检测ROMA Connect与数据源之间是否能够连通。
   • 若测试结果为“数据源连接成功！”，则继续下一步。
   • 若测试结果为“数据源连接失败！”，则检查数据源状态和数据源连接参数配置，然后单击“重新检测”，直到连接成功为止。
6. 单击“创建”，完成数据源的接入。