更新时间:2023-03-17 GMT+08:00

Flink对接OBS文件系统

使用本章节前已参考配置存算分离集群(委托方式)配置存算分离集群(AKSK方式)完成存算分离集群配置。

  1. 使用安装客户端的用户登录Flink客户端安装节点。
  2. 执行如下命令初始化环境变量。

    source ${client_home}/bigdata_env

  3. 需要配置好Flink客户端。具体配置参考安装客户端(3.x及之后版本)
  4. 如果是安全集群,使用以下命令进行用户认证,如果当前集群未启用Kerberos认证,则无需执行此命令。

    kinit 用户名

  5. 在Flink命令行显式添加要访问的OBS文件系统。

    ./bin/flink run --class com.xxx.bigdata.flink.examples.FlinkProcessingTimeAPIMain ./config/FlinkCheckpointJavaExample.jar --chkPath obs://OBS并行文件系统名称

由于Flink作业是On Yarn运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。