更新时间:2024-10-31 GMT+08:00

HDFS样例程序开发思路

场景说明

HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。

本代码样例讲解顺序为:

  1. HDFS初始化
  2. 创建目录
  3. 写文件
  4. 追加文件内容
  5. 读文件
  6. 删除文件
  7. 删除目录
  8. 多线程
  9. 设置存储策略
  10. Colocation

开发思路

根据前述场景说明进行功能分解,以“/user/hdfs-examples/test.txt”文件的读写删除等操作为例,说明HDFS文件的基本操作流程,可分为以下八部分:

  1. 通过安全认证。
  2. 创建FileSystem对象:fSystem。
  3. 调用fSystem的mkdir接口创建目录。
  4. 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。
  5. 调用fSystem的append接口创建FSDataOutputStream对象:out,使用out的write方法追加写入数据。
  6. 调用fSystem的open接口创建FSDataInputStream对象:in,使用in的read方法读取文件。
  7. 调用fSystem中的delete接口删除文件。
  8. 调用fSystem中的delete接口删除文件夹。