更新时间:2024-10-17 GMT+08:00

Druid对接OBS

概述

Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。

通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。

对接步骤

  1. 配置Druid。

    1. 修改配置:
      conf/druid/single-server/micro-quickstart/_common/common.runtime.properties

      将druid-hdfs-storage加入druid.extensions.loadList。

    2. 配置Deep storage在OBS中的存储路径。

  2. 配置OBSA-HDFS插件。

    1. 在官方Github下载OBSA-HDFS插件:下载地址,然后拷贝到extensions/druid-hdfs-storage/ 目录。
    2. 在配置目录conf/druid/single-server/micro-quickstart/_common/下增加hdfs-site.xml,配置如下(其中endpoint按照桶所在的实际endpoint填写):

  3. 启动Druid服务。