HDFS样例程序开发思路
场景说明
通过典型场景,可以快速学习和掌握HDFS的开发过程,并对关键的接口函数有所了解。
HDFS的业务操作对象是文件,代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹;HDFS还有其他的业务处理,例如设置文件权限等,其他操作可以在掌握本代码样例之后,再扩展学习。
本代码样例讲解顺序为:
- HDFS初始化 初始化HDFS
- 写文件 写HDFS文件
- 追加文件内容 追加HDFS文件内容
- 读文件 读HDFS文件
- 删除文件 删除HDFS文件
- Colocation HDFS Colocation
- 设置存储策略 设置HDFS存储策略
- 访问OBS HDFS访问OBS
开发思路
根据前述场景说明进行功能分解,以上传一个新员工的信息为例,对该员工的信息进行查询、追加、删除等,可分为以下七部分:
- 通过kerberos认证。
- 调用fileSystem中的mkdir接口创建目录。
- 调用HdfsWriter的dowrite接口写入信息。
- 调用fileSystem中的open接口读取文件。
- 调用HdfsWriter的doAppend接口追加信息。
- 调用fileSystem中的deleteOnExit接口删除文件。
- 调用fileSystem中的delete接口删除文件夹。