HDFS样例程序开发思路
场景说明
HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。
本代码样例讲解顺序为:
- HDFS初始化
- 创建目录
- 写文件
- 追加文件内容
- 读文件
- 删除文件
- 删除目录
- 多线程
- 设置存储策略
- Colocation
开发思路
根据前述场景说明进行功能分解,以“/user/hdfs-examples/test.txt”文件的读写删除等操作为例,说明HDFS文件的基本操作流程,可分为以下八部分:
- 通过安全认证。
- 创建FileSystem对象:fSystem。
- 调用fSystem的mkdir接口创建目录。
- 调用fSystem的create接口创建FSDataOutputStream对象:out,使用out的write方法写入数据。
- 调用fSystem的append接口创建FSDataOutputStream对象:out,使用out的write方法追加写入数据。
- 调用fSystem的open接口创建FSDataInputStream对象:in,使用in的read方法读取文件。
- 调用fSystem中的delete接口删除文件。
- 调用fSystem中的delete接口删除文件夹。