。 通过服务编排调用连接器 OBS连接器创建完成后，支持在服务编排中调用该连接器，实现与OBS的对接。用户也可以在脚本中调用连接器，实现与OBS的对接。 参考如何开发服务编排中操作，创建一个空白服务编排。 图6 添加服务编排 在服务编排设计页面，从左侧“连接器 > 存储”中，拖拽“OBS”图元至画布中。

查看更多 →

。 通过服务编排调用连接器 OBS连接器创建完成后，支持在服务编排中调用该连接器，实现与OBS的对接。用户也可以在脚本中调用连接器，实现与OBS的对接。 参考如何开发服务编排中操作，创建一个空白服务编排。 图4 添加服务编排 在服务编排设计页面，从左侧“连接器 > 存储”中，拖拽“OBS”图元至画布中。

查看更多 →

华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台

查看更多 →

Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。

查看更多 →

Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。

查看更多 →

Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：

查看更多 →

Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。

查看更多 →

Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

S服务，本文介绍DataX如何对接OBS。 对接步骤 下载datax源码，以发布版本datax_v202308为例：下载地址。 修改编译datax。 升级hdfsreader和hdfswriter模块依赖的hadoop版本，以升级到2.8.3版本为例。 修改datax\hdfswriter\pom

查看更多 →

（可选）测试是否能在存储桶中，存储对象。 该测试只能上传小于1MB字节的对象。 在该连接器详情页面，单击存储桶所在行的。 单击“点击上传”，选择对象文件，单击“上传”。 图4 选择对象 单击上传好的文件名，进行下载。 打开下载的对象存储文件，查看与上传的对象存储文件是否一致。 通过服务编排调用连接器

查看更多 →

（可选）测试是否能在存储桶中，存储对象。 该测试只能上传小于1MB字节的对象。 在该连接器详情页面，单击存储桶所在行的。 单击“点击上传”，选择对象文件，单击“上传”。 图3 选择对象 单击上传好的文件名，进行下载。 打开下载的对象存储文件，查看与上传的对象存储文件是否一致。 通过服务编排调用连接器

查看更多 →

Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差

查看更多 →

Hudi组件对接OBS 对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 修改配置文件： vim 客户端安装目录/Hudi/hudi/conf/hdfs-site

查看更多 →

在HDFS命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop

查看更多 →

HDFS组件操作用户 在Yarn命令行显式添加要访问的OBS文件系统。 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令创建OBS文件系统下的目录： hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS：

查看更多 →

Hive组件对接OBS 对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS： 已参考配置Guardian服务对接OBS完成存算分离配置。 登录FusionInsight Manager，选择“集群 > 服务

查看更多 →

-input obs://并行文件系统名称/tmp/flinkjob/test -output obs://并行文件系统名称/tmp/flinkjob/output 由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。

查看更多 →

始Presto服务端必须使用JDK 11）。 本章节中的Presto指prestoSql/Trino发行版。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 已安装Hive，具体请参见Hive对接OBS。 安装presto server 版本：prestoSQL-333

查看更多 →

Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。

查看更多 →

Spark组件对接OBS 对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。 建表时指定Location为OBS路径： 以客户端安装用户登录安装客户端的节点，并进入spark-sql客户端：

查看更多 →

HetuEngine组件对接OBS 对接OBS MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。 在创建表时指定Location为OBS文件系统路径 如果存在运行中的HetuEngine计算实例需重启该实例。

查看更多 →