通过Hue管理HDFS文件

操作场景

Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式使用HDFS。

Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。

访问文件浏览器

1. 访问Hue WebUI，请参考访问Hue WebUI界面。
2. 在左侧导航栏单击文件。进入“文件浏览器”页面。

   “文件浏览器”的“主页”默认进入当前登录用户的主目录。界面将显示目录中的子目录或文件的以下信息：

   表1 HDFS文件属性介绍

   属性名	描述
   名称	表示目录或文件的名称。
   大小	表示文件的大小。
   用户	表示目录或文件的属主。
   组	表示目录或文件的属组。
   权限	表示目录或文件的权限设置。
   日期	表示目录或文件创建时间。

3. 在搜索框输入关键字，系统会在当前目录自动搜索目录或文件。
4. 清空搜索框的内容，系统会重新显示所有目录和文件。

创建新文件或者目录

1. 在“文件浏览器”界面，单击“新建”。
2. 选择一个操作。
   • 文件：表示创建一个文件，输入文件名后单击“创建”完成。
   • 目录：表示创建一个目录，输入目录名后单击“创建”完成。

上传用户文件

1. 在“文件浏览器”界面，单击“上传”。
2. 在弹出的上传文件窗口中单击“选择文件”或将文件拖至窗口中，完成文件上传。

管理文件或目录

1. 在“文件浏览器”界面，勾选一个或多个目录或文件。
2. 单击“操作”，在弹出菜单选择一个操作。
   • 重命名：表示重新命名一个目录或文件。
   • 移动：表示移动文件，在“移至”页面选择新的目录并单击“移动”完成移动。
   • 复制：表示复制选中的文件或目录。
   • 更改权限：表示修改选中目录或文件的访问权限。
     • 可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。
     • “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。
     • “递归”表示递归设置权限到子目录。
   • 存储策略：表示设置目录或文件在HDFS中的存储策略。
   • 摘要：表示查看选中的文件或目录的HDFS存储信息。

存储策略定义使用介绍

如果Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时，不能启用存储策略定义功能。

存储策略定义在Hue的WebUI界面上分为两大类：

• 静态存储策略

  当前存储策略

  根据HDFS的文档访问频率、重要性，为HDFS目录指定存储策略，例如ONE_SSD、ALL_SSD等，此目录下的文件可被迁移到相应存储介质上保存。

• 动态存储策略

  为HDFS目录设置规则，系统可以根据文件的最近访问时间、最近修改时间自动修改存储策略、修改文件副本数、移动文件目录，详细的介绍请参见配置HDFS冷热数据迁移。

  在Hue的WebUI界面设置动态存储策略之前，需先在Manager界面设置冷热数据迁移的CRON表达式，并启动自动冷热数据迁移特性。

  操作方法为：

  修改HDFS服务的NameNode的如下参数值。参数修改方法请参考修改集群服务配置参数。

  参数	描述	取值示例
  dfs.auto.data.mover.enable	表示是否启用自动冷热数据迁移特性。默认值是“false”。	true
  dfs.auto.data.mover.cron.expression	HDFS执行冷热数据迁移的CRON表达式，用于控制数据迁移操作的开始时间。仅当“dfs.auto.data.mover.enable”设置为“true”时才有效。默认值“0 * * * *”表示在每个整点执行任务。	0 * * * *

  修改参数“dfs.auto.data.mover.cron.expression”时，表达式介绍如表2所示。支持“*”表示连续的时间段。

  表2 执行表达式参数解释

  列	说明
  第1列	分钟，参数值为0～59。
  第2列	小时，参数值为0～23。
  第3列	日期，参数值为1～31。
  第4列	月份，参数值为1～12。
  第5列	星期，参数值为0～6，0表示星期日。

存储策略定义在WebUI界面上的操作如下：

1. 登录FusionInsight Manager。
2. 在FusionInsight Manager界面，选择“系统 > 权限 > 角色 > 添加角色”：
   1. 设置“角色名称”。
   2. 在“配置资源权限”下选择“待操作集群名称 >Hue”，勾选“存储策略管理员”，单击“确定”，为该角色赋予存储策略管理员的权限。

3. 选择“系统 > 权限 > 用户组 > 添加用户组”，设置“组名”，单击“角色”后的“添加”，在弹出的界面选择2创建的角色，单击“确定”将该角色添加到组中，单击“确定”完成用户组的创建。
4. 选择“系统 > 权限 > 用户 > 添加用户”：
   1. “用户名”填写待添加的用户名。
   2. “用户类型”设置为“人机”。
   3. 设置登录Hue的WebUI界面的“密码”、“确认密码”。
   4. 单击“用户组”后的“添加”，在弹出的界面选择3创建的用户组、supergroup、hadoop和hive用户组，单击“确定”。
   5. “主组”选择“hive”。
   6. 单击“角色”后的“添加”，在弹出的界面选择2创建的角色和System_administrator角色，单击“确定”。
   7. 再单击“确定”，成功添加该用户。

5. 使用创建的用户访问Hue WebUI，具体操作请参考访问Hue WebUI界面。
6. 左侧导航栏单击文件。进入“文件浏览器”页面。
7. 勾选目录的复选框，单击页面上方的“操作”，单击“存储策略”。
   图1 存储策略
   

8. 在弹出的对话框中设置新的存储策略，单击“保存”。
   • 在“静态存储策略”页签设置静态存储策略，单击“保存”。
   • 在“动态存储策略”页签可创建、删除、修改动态存储策略，详细的参数介绍如表3所示。

     表3 动态存储策略参数介绍

     分类	参数	说明
     规则	文件最近访问时间	按照该文件最近一次访问时间。
     	文件最近修改时间	按照该文件最近一次修改时间。
     操作	修改副本数	设置文件副本数。
     	修改存储策略	修改存储策略，包括HOT、WARM、COLD、ONE_SSD、ALL_SSD。
     	移动到目录	移动该文件到其他目录。

     

     • 设置规则需要用户充分考虑合理性，例如多条规则之间是否有冲突，是否会对系统造成破坏等。
     • 一个目录设置多个规则和动作时，规则被先触发的放在规则/动作列表的下面，规则被后触发的放在规则/动作列表的上面，避免动作反复执行。
     • 系统每个小时整点扫描动态存储策略指定的目录下的文件是否符合规则，如果满足，则触发执行动作。执行日志记录在主NameNode的“/var/log/Bigdata/hdfs/nn/hadoop.log”目录下。

典型场景

通过Hue界面对HDFS以文本或二进制查看和编辑文件的操作如下：

查看文件

1. 访问Hue WebUI。
2. 左侧导航栏单击文件。进入“文件浏览器”页面。
3. 单击需要查看的文件名。
4. 单击“以二进制格式查看”，可以切换视图从文本到二进制；单击“以文本格式查看”，可以切换视图从二进制到文本。

编辑文件

5. 单击“编辑文件”，显示文件内容可编辑。
6. 单击“保存”或“另存为”保存文件。