文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）(巴黎区域)/ 使用Hue/ 典型场景/ HDFS on Hue
更新时间：2022-12-14 GMT+08:00
查看PDF
分享

HDFS on Hue

Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式使用HDFS。

Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。

文件浏览器使用介绍

访问Hue WebUI，请参考访问Hue的WebUI。

然后单击，进入“文件浏览器”页面。您可以进行以下操作。

  • 查看文件和目录

    默认显示登录用户的目录及目录中的文件，可查看目录或文件的“名称”、“大小”、“用户”、“组”、“权限”和“日期”信息。

    单击文件名，可查看文本文件的文本信息或二进制数据。支持编辑文件内容。

    如果文件和目录数量比较多，可以在搜索框输入关键字，搜索特定的文件或目录。

  • 创建文件或目录

    单击右上角的“新建”，选择“文件”创建文件，选择“目录”创建目录。

  • 管理文件或目录

    勾选文件或目录的复选框，单击“操作”，选择“重命名”、“移动”、“复制”和“更改权限”等，实现文件或目录的重命名、移动、复制、更改权限等功能。

  • 上传文件

    单击右上角的“上传”，单击“选择文件”或将文件拖至窗口中可进行文件上传。

存储策略定义使用介绍

若Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时，不能启用存储策略定义功能。

存储策略定义在Hue的WebUI界面上分为两大类：

  • 静态存储策略
    1. 当前存储策略

      根据HDFS的文档访问频率、重要性，为HDFS目录指定存储策略，例如ONE_SSD、ALL_SSD等，此目录下的文件可被迁移到相应存储介质上保存。

    2. 当前EC(纠删码)策略

      为HDFS目录指定EC(纠删码)策略，例如RS-10-4-1024k、RS-3-2-1024k等。

  • 动态存储策略

    为HDFS目录设置规则，系统可以根据文件的最近访问时间、最近修改时间自动修改存储策略、修改文件副本数、移动文件目录。

    在Hue的WebUI界面设置动态存储策略之前，需先在Manager界面设置冷热数据迁移的CRON表达式，并启动自动冷热数据迁移特性。

    操作方法为：

    修改HDFS服务的NameNode的“dfs.auto.data.mover.cron.expression”的参数值。参数修改方法请参考修改集群服务配置参数。

    • “dfs.auto.data.mover.cron.expression”表示触发检测HDFS数据是否满足动态存储策略规则的CRON表达式，用于控制数据迁移操作的开始时间。其默认值是“0 * * * *”，表示在整点检测。当满足动态存储策略规则时，在该整点执行冷热数据迁移任务。
    • “dfs.auto.data.mover.enable”的默认值是“false”。仅当“dfs.auto.data.mover.enable”设置为“true”时该值才有效。

    修改此参数时，表达式介绍如表1所示。支持“*”表示连续的时间段。

    表1 执行表达式参数解释

    列

    说明

    第1列

    分钟，参数值为0～59。

    第2列

    小时，参数值为0～23。

    第3列

    日期，参数值为1～31。

    第4列

    月份，参数值为1～12。

    第5列

    星期，参数值为0～6，0表示星期日。

存储策略定义在WebUI界面上的操作如下：

  1. 登录FusionInsight Manager，具体请参见访问FusionInsight Manager。
  1. 在FusionInsight Manager界面，选择“系统 > 权限 > 角色 > 添加角色”：

    1. 设置“角色名称”。
    2. 在“配置资源权限”下选择“待操作集群名称 >Hue”，勾选“存储策略管理员”，单击“确定”，为该角色赋予存储策略管理员的权限。

  2. 选择“系统 > 权限 > 用户组 > 添加用户组”，设置“组名”，单击“角色”后的“添加”，在弹出的界面选择2创建的角色，单击“确定”将该角色添加到组中，单击“确定”完成用户组的创建。
  3. 选择“系统 > 权限 > 用户 > 添加用户”：

    1. “用户名”填写待添加的用户名。
    2. “用户类型”设置为“人机”。
    3. 设置登录Hue的WebUI界面的“密码”、“确认密码”。
    4. 单击“用户组”后的“添加”，在弹出的界面选择3创建的用户组、supergroup、hadoop和hive用户组，单击“确定”。
    5. “主组”选择“hive”。
    6. 单击“角色”后的“添加”，在弹出的界面选择2创建的角色和System_administrator角色，单击“确定”。
    7. 再单击“确定”，成功添加该用户。

  4. 使用创建的用户访问Hue WebUI，请参考访问Hue的WebUI。
  5. 左侧导航栏单击文件。进入“文件浏览器”页面。
  6. 勾选目录的复选框，单击页面上方的“操作”，单击“存储策略”。
  7. 在弹出的对话框中设置新的存储策略，单击“确定”。

    • 在“静态存储策略”页签“新EC(纠删码)策略”后的下拉框中选择策略，单击“保存”。
    • 在“动态存储策略”页签可创建、删除、修改动态存储策略，详细的参数介绍如表2所示。
      表2 动态存储策略参数介绍

      分类

      参数

      说明

      规则

      文件最近访问时间

      按照该文件最近一次访问时间。

      文件最近修改时间

      按照该文件最近一次修改时间。

      操作

      修改副本数

      设置文件副本数。

      修改存储策略

      修改存储策略，包括HOT、WARM、COLD、ONE_SSD、ALL_SSD。

      移动到目录

      移动该文件到其他目录。
      • 设置规则需要用户充分考虑合理性，例如多条规则之间是否有冲突，是否会对系统造成破坏等。
      • 一个目录设置多个规则和动作时，规则被先触发的放在规则/动作列表的下面，规则被后触发的放在规则/动作列表的上面，避免动作反复执行。
      • 系统每个小时整点扫描动态存储策略指定的目录下的文件是否符合规则，如果满足，则触发执行动作。执行日志记录在主NameNode的“/var/log/Bigdata/hdfs/nn/hadoop.log”目录下。

典型场景

通过Hue界面对HDFS以文本或二进制查看和编辑文件的操作如下：

查看文件

  1. 访问Hue WebUI，请参考访问Hue的WebUI。
  2. 左侧导航栏单击文件。进入“文件浏览器”页面。
  3. 单击需要查看的文件名。
  4. 单击“以二进制格式查看”，可以切换视图从文本到二进制；单击“以文本格式查看”，可以切换视图从二进制到文本。

编辑文件

  1. 单击“编辑文件”，显示文件内容可编辑。
  2. 单击“保存”或“另存为”保存文件。
父主题： 典型场景