更新时间:2024-07-19 GMT+08:00

Flume第三方插件二次开发指导

操作场景

该操作指导用户进行第三方插件二次开发。

本章节适用于MRS 3.x及之后版本。

前提条件

  • 第三方jar包。
  • 已成功安装Flume服务端或者客户端。

操作步骤

  1. 将自主研发的代码打成jar包。
  2. 建立插件目录布局。

    1. 进入$FLUME_HOME/plugins.d路径下,使用以下命令建立目录:

      mkdir thirdPlugin

      cd thirdPlugin

      mkdir lib libext native

      显示结果如下:

    2. 将第三方jar包放入$FLUME_HOME/plugins.d/thirdPlugin/lib路径下,若该jar包依赖其他jar包,则将所依赖的jar包放入$FLUME_HOME/plugins.d/thirdPlugin/libext文件夹中,$FLUME_HOME/plugins.d/thirdPlugin/native放置本地库文件。

  3. 配置$FLUME_HOME/conf/properties.properties文件。

    具体properties.properties参数配置方法,参考非加密传输加密传输对应典型场景中properties.properties文件参数列表的说明。

    • $FLUME_HOME表示Flume安装路径,配置第三方插件时,根据实际情况(服务端/客户端)指定。
    • thirdPlugin根据实际业务进行命名,无固定名称。