Hive对接OBS 概述 Hive是一个 数据仓库 工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

S服务，本文介绍DataX如何对接OBS。 对接步骤 下载datax源码，以发布版本datax_v202308为例：下载地址。 修改编译datax。 升级hdfsreader和hdfswriter模块依赖的hadoop版本，以升级到2.8.3版本为例。 修改datax\hdfswriter\pom

查看更多 →

Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“ 数据湖 ”存储。

查看更多 →

Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：

查看更多 →

Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。

查看更多 →

Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。

查看更多 →

连接开始图元和OBS图元。 图6 连接图元 单击服务编排设计器空白区域，选择，设置服务编排出参。 将OBS图元的输出参数，作为整个服务编排的输出参数。 单击页面上方的，保存服务编排。 保存成功后，单击，运行服务编排。 在OBS上，查看存储桶中存储的对象列表，可查看到对象已存储成功。 单击页面上方的，启用服务编排。

查看更多 →

华为云 MRS 对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台

查看更多 →

。 通过服务编排调用连接器 OBS连接器创建完成后，支持在服务编排中调用该连接器，实现与OBS的对接。用户也可以在脚本中调用连接器，实现与OBS的对接。 参考如何开发服务编排中操作，创建一个空白服务编排。 图6 添加服务编排 在服务编排设计页面，从左侧“连接器 > 存储”中，拖拽“OBS”图元至画布中。

查看更多 →

始Presto服务端必须使用JDK 11）。 本章节中的Presto指prestoSql/Trino发行版。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 已安装Hive，具体请参见Hive对接OBS。 安装presto server 版本：prestoSQL-333

查看更多 →

Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。

查看更多 →

（可选）测试是否能在存储桶中，存储对象。 该测试只能上传小于1MB字节的对象。 在该连接器详情页面，单击存储桶所在行的。 单击“点击上传”，选择对象文件，单击“上传”。 图4 选择对象 单击上传好的文件名，进行下载。 打开下载的对象存储文件，查看与上传的对象存储文件是否一致。 通过服务编排调用连接器

查看更多 →

Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差

查看更多 →

指定在对象最后一次更新后多少天，受规则影响的对象将转换为归档存储。若同时设置转换为低频访问存储和转换为归档存储，则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天。若单独设置转换为归档存储，则没有时间限制。 31天 文件过期删除天数 指定在对象最后一次更新后多少天，受规则影响的对象将过期并自动被O

查看更多 →

集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS

查看更多 →

对接对象存储代理 背景信息 当对不同存储类型（OBS或MINIO）中的对象实例进行操作时，为了实现实例格式的兼容性，需要对不同存储类型中的对象实例配置存储代理连接器。 新建对象存储代理连接器 参考创建连接器入口中操作，进入创建连接器页面。 在左侧列表中，选择“存储 > 对象存储代理”，单击“+”。

查看更多 →

core-site.xml文件中的配置项，包括：fs.obs.access.key，fs.obs.secret.key，fs.obs.endpoint和fs.obs.impl。 fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint分别为用户的ak、

查看更多 →

MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS

查看更多 →

HDFS和Yarn集群对接OBS配置项 在HDFS集群配置中选择“高级”，在core-site.xml的群集范围高级配置代码段（安全阀）增加OBS的ak、sk、endpoint和impl配置，对应名称为fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint、fs

查看更多 →

对接Redis实现数据存储 通过应用与Redis对接，实现数据存储功能。 前提条件 已获取Redis提供服务的URL地址和登录密码。 新建Redis连接器 参考创建连接器入口中操作，进入创建连接器页面。 在左侧列表中，选择“数据库 > Redis”，单击“+”。 图1 新建Redis

查看更多 →

driver 挂载依赖的存储驱动，文件存储配置为“huawei.com/fuxinfs”。 deviceMountPath 文件存储的共享路径。 获取方法：在CCE控制台，单击顶部的“服务列表 > 存储 > 弹性文件服务”，在弹性文件服务列表中可以看到“挂载地址”列，即为文件存储的共享路径，如图1。

查看更多 →