更新时间:2023-03-17 GMT+08:00
Flink对接OBS文件系统
使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。
- 使用安装客户端的用户登录Flink客户端安装节点。
- 执行如下命令初始化环境变量。
source ${client_home}/bigdata_env
- 需要配置好Flink客户端。具体配置参考安装客户端(3.x及之后版本)。
- 如果是安全集群,使用以下命令进行用户认证,如果当前集群未启用Kerberos认证,则无需执行此命令。
kinit 用户名
- 在Flink命令行显式添加要访问的OBS文件系统。
./bin/flink run --class com.xxx.bigdata.flink.examples.FlinkProcessingTimeAPIMain ./config/FlinkCheckpointJavaExample.jar --chkPath obs://OBS并行文件系统名称
由于Flink作业是On Yarn运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。
父主题: 使用存算分离集群