更新时间:2024-11-29 GMT+08:00

自定义Elasticsearch插件安装指导

问题背景与现象

在Elasticsearch使用中,如何安装用户自定义的插件。

使用注意事项

  • 插件的版本需要与MRS Elasticsearch内核的版本完全一致,否则可能会导致启动失败,建议使用插件前先在开源同版本的Elasticsearch上进行安装验证。
  • 插件需要在所有的Elasticsearch实例上进行安装,安装后需要重启Elasticsearch服务,为了避免插件中jar包与MRS Elasticsearch中现有插件存在jar包冲突等问题,建议先在一个Elasticsearch实例上进行验证后再进行规模安装。

前提条件

  • 已获取待使用的插件包。
  • 已安装Elasticsearch客户端。
  • 已创建具有Elasticsearch访问权限的业务用户。

处理步骤

  1. 将待使用的插件压缩包上传至集群内安装有SetupTool的节点并进行解压。解压后的插件文件夹名称要与子目录下“${BIGDATA_HOME}/FusionInsight_Elasticsearch_xxx/install/FusionInsight-Elasticsearch-xxx/elasticsearch/plugins/plugin-descriptor.properties”文件中的插件参数值一致,如果不一致请修改文件夹名称。
  2. 使用scp命令,在omm用户下将解压后的插件文件夹拷贝至任意Elasticsearch实例业务IP所在节点的“plugins”目录下(插件的所有者需要为omm用户,group需要为wheel)。

    scp 解压后的插件路径 omm@Elasticsearch实例所在业务IP地址:${BIGDATA_HOME}/FusionInsight_Elasticsearch_xxx/install/FusionInsight-Elasticsearch-xxx/elasticsearch/plugins

    • Elasticsearch实例业务IP:可通过登录FusionInsight Manager,选择“集群 > 服务 > Elasticsearch > 实例”,查看任意实例的业务IP地址获取。
    • xxx为Elasticsearch部件包及内核版本号,具体以实际为准。

  3. 登录FusionInsight Manager,选择“集群 > 服务 > Elasticsearch > 实例”,勾选2中所使用的实例,选择“更多 > 重启实例”。
  4. 查看“/var/log/Bigdata/elasticsearch/实例名称/elasticsearch_cluster.log”日志是否有相关报错,验证该插件是否可以成功启动。“实例名称”为2中所使用的实例。
  5. root用户登录2所用实例节点,使用以下命令查看插件是否成功加载。

    cd 客户端安装目录

    source bigdata_env

    kinit 业务用户 (普通模式集群跳过此操作)

    • 安全模式集群执行此命令:curl -XGET --negotiate -k -u : "https://当前登录实例节点的业务IP:端口/_cat/plugins"
    • 普通模式集群执行此命令:curl -XGET "http://当前登录实例节点的业务IP:端口/_cat/plugins"

    执行后如果能看到已上传的插件,则表示加载成功。

    端口号:可通过登录FusionInsight Manager,选择“集群 > 服务 > Elasticsearch > 配置 > 全部配置”,在搜索框中搜索“SERVER_PORT”参数,获取对应实例的端口号。

  6. omm用户下将解压后的插件复制到所有Elasticsearch实例的如下路径。

    ./clusterscp.sh put 解压后的插件路径 ${BIGDATA_HOME}/FusionInsight_Elasticsearch_xxx/install/FusionInsight-Elasticsearch-xxx/elasticsearch/plugins

    • clusterscp.sh位于“FusionInsight_SetupTool/preinstall/tools/cluste”路径下。如果“Fusioninsight_SetupTool”在omm用户下无权限访问,请执行以下命令修改权限:

      chown omm:wheel -R Fusioninsight_SetupTool路径

    • 复制完成后,需要确保每个节点上该“plugin”的拥有者和群组分别为omm:wheel,可以执行以下命令修改所有节点的拥有者信息:

      ./clustercmd.sh "chown -R -v 已安装的plugin路径"

  7. 登录FusionInsight Manager,选择“集群 > 服务 > Elasticsearch > 更多 > 重启”,验证用户身份后,单击“确定”,等待重启成功。