更新时间:2024-11-23 GMT+08:00
分享

如何开发Flume第三方插件

该操作指导用户进行第三方插件二次开发。

本章节适用于MRS 3.x及之后版本。

  1. 将自主研发的代码打成jar包。
  2. 安装Flume服务端或者客户端,如安装目录为“/opt/flumeclient”。
  3. 建立插件目录布局。

    1. 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下,使用以下命令建立目录,可根据实际业务进行命名,无固定名称:

      cd /opt/flumeclient/fusioninsight-flume-1.9.0/plugins.d

      mkdir thirdPlugin

      cd thirdPlugin

      mkdir lib libext native

      显示结果如下:

    2. 将第三方jar包放入Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPlugin/lib”路径下,若该jar包依赖其他jar包,则将所依赖的jar包放入Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPlugin/libext”文件夹中,Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPlugin/native”放置本地库文件。

  4. 配置Flume客户端安装目录/fusionInsight-flume-*/conf/properties.properties”文件。

    具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。

相关文档