更新时间:2022-08-12 GMT+08:00
如何准备MRS的数据源?
MRS既可以处理OBS中的数据,也可以处理HDFS中的数据。在使用MRS分析数据前,需要先准备数据。
- 将本地数据上传OBS。
- 登录OBS管理控制台。
- 在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。
- 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为userdata的文件系统。
- 在OBS文件系统列表中单击文件系统名称userdata,选择“文件 > 新建文件夹”,分别创建program、input、output和log目录。
- 上传数据至userdata文件系统。
- 进入program文件夹,单击“上传文件”。
- 单击“添加文件”并选择用户程序。
- 单击“上传”。
- 使用同样方式将用户数据文件上传至input目录。
- 将OBS数据导入至HDFS。
当“Kerberos认证”为“关闭”,且运行中的集群,可执行将OBS数据导入至HDFS的操作。
- 登录MRS管理控制台。
- 单击集群名称进入集群详情页面。
- 单击“HDFS文件列表”。 ,选择
- 进入数据存储目录,如“bd_app1”。
“bd_app1”目录仅为示例,可以是界面上的任何目录,也可以通过“新建”创建新的目录。
- 单击“导入数据”,通过单击“浏览”选择OBS和HDFS路径。
- 单击“确定”。
文件上传进度可在“文件操作记录”中查看。
父主题: 作业开发类