更新时间:2022-08-12 GMT+08:00

如何准备MRS的数据源?

MRS既可以处理OBS中的数据,也可以处理HDFS中的数据。在使用MRS分析数据前,需要先准备数据。

  1. 将本地数据上传OBS。
    1. 登录OBS管理控制台。
    2. 在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。
      1. 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为userdata的文件系统。
      2. 在OBS文件系统列表中单击文件系统名称userdata,选择“文件 > 新建文件夹”,分别创建program、input、output和log目录。
    3. 上传数据至userdata文件系统。
      1. 进入program文件夹,单击“上传文件”。
      2. 单击“添加文件”并选择用户程序。
      3. 单击“上传”
      4. 使用同样方式将用户数据文件上传至input目录。
  2. 将OBS数据导入至HDFS。

    “Kerberos认证”“关闭”,且运行中的集群,可执行将OBS数据导入至HDFS的操作。

    1. 登录MRS管理控制台。
    2. 单击集群名称进入集群详情页面。
    3. 单击文件管理,选择“HDFS文件列表”
    4. 进入数据存储目录,如“bd_app1”

      “bd_app1”目录仅为示例,可以是界面上的任何目录,也可以通过“新建”创建新的目录。

    5. 单击“导入数据”,通过单击“浏览”选择OBS和HDFS路径。

    6. 单击“确定”

      文件上传进度可在“文件操作记录”中查看。