更新时间:2024-08-03 GMT+08:00

HDFS样例程序开发思路

场景说明

通过典型场景,可以快速学习和掌握HDFS的开发过程,并对关键的接口函数有所了解。

HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。

本代码样例讲解顺序为:

  1. HDFS初始化 初始化HDFS
  2. 写文件 写HDFS文件
  3. 追加文件内容 追加HDFS文件内容
  4. 读文件 读HDFS文件
  5. 删除文件 删除HDFS文件
  6. Colocation HDFS Colocation
  7. 设置存储策略 设置HDFS存储策略
  8. 访问OBS HDFS访问OBS

开发思路

根据前述场景说明进行功能分解,以上传一个新员工的信息为例,对该员工的信息进行查询、追加、删除等,可分为以下七部分:

  1. 通过kerberos认证。
  2. 调用fileSystem中的mkdir接口创建目录。
  3. 调用HdfsWriter的dowrite接口写入信息。
  4. 调用fileSystem中的open接口读取文件。
  5. 调用HdfsWriter的doAppend接口追加信息。
  6. 调用fileSystem中的deleteOnExit接口删除文件。
  7. 调用fileSystem中的delete接口删除文件夹。