文档首页/ MapReduce服务 MRS/ 组件操作指南(LTS版)/ 使用Yarn/ Yarn常见问题/ 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败
更新时间:2023-04-28 GMT+08:00

为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败

问题

为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败?

回答

通过集群将非ViewFS文件系统配置为ViewFS时,ViewFS中的文件夹的用户权限与默认NameService中的非ViewFS不同。因为目录权限不匹配,所以已提交的MR作业运行失败。

在集群中配置ViewFS的用户,需要检查并校验目录权限。在提交作业之前,应按照默认的NameService文件夹权限更改ViewFS文件夹权限。

下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配,则必须相应地更改目录权限。

表1 ViewFS中配置的目录的默认权限结构

参数

描述

默认值

默认值及其父目录的默认权限

yarn.nodemanager.remote-app-log-dir

在默认文件系统上(通常是HDFS),指定NM应将日志聚合到哪个目录。

logs

777

yarn.nodemanager.remote-app-log-archive-dir

将日志归档的目录。

-

777

yarn.app.mapreduce.am.staging-dir

提交作业时使用的staging目录。

/tmp/hadoop-yarn/staging

777

mapreduce.jobhistory.intermediate-done-dir

MapReduce作业记录历史文件的目录。

${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate

777

mapreduce.jobhistory.done-dir

由MR JobHistory Server管理的历史文件的目录。

${yarn.app.mapreduce.am.staging-dir}/history/done

777