为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败
问题
为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败?
回答
通过集群将非ViewFS文件系统配置为ViewFS时,ViewFS中的文件夹的用户权限与默认NameService中的非ViewFS不同。因为目录权限不匹配,所以已提交的MR作业运行失败。
在集群中配置ViewFS的用户,需要检查并校验目录权限。在提交作业之前,应按照默认的NameService文件夹权限更改ViewFS文件夹权限。
下表列出了ViewFS中配置的目录的默认权限结构。如果配置的目录权限与下表不匹配,则必须相应地更改目录权限。
| 
        参数  | 
      
        描述  | 
      
        默认值  | 
      
        默认值及其父目录的默认权限  | 
     
|---|---|---|---|
| 
        yarn.nodemanager.remote-app-log-dir  | 
      
        在默认文件系统上(通常是HDFS),指定NM应将日志聚合到哪个目录。  | 
      
        logs  | 
      
        777  | 
     
| 
        yarn.nodemanager.remote-app-log-archive-dir  | 
      
        将日志归档的目录。  | 
      
        -  | 
      
        777  | 
     
| 
        yarn.app.mapreduce.am.staging-dir  | 
      
       
        提交作业时使用的staging目录。  | 
      
        /tmp/hadoop-yarn/staging  | 
      
        777  | 
     
| 
        mapreduce.jobhistory.intermediate-done-dir  | 
      
        MapReduce作业记录历史文件的目录。  | 
      
        ${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate  | 
      
        777  | 
     
| 
        mapreduce.jobhistory.done-dir  | 
      
        由MR JobHistory Server管理的历史文件的目录。  | 
      
        ${yarn.app.mapreduce.am.staging-dir}/history/done  | 
      
        777  |