对接OBS云对象存储实例 对象存储服务 （Object-based Storage Service，OBS）是一个基于对象的海量存储服务，为您提供海量、安全、高可靠、低成本的数据存储能力，包括创建、修改、删除桶，上传、下载和删除对象等。在AstroZero中，通过应用与OBS对接，

查看更多 →

华为云 MRS 对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台

查看更多 →

"fs.obs.impl":"org.apache.hadoop.fs.obs.OBSFileSystem", "fs.obs.access.key":"可访问OBS的ak",

查看更多 →

Hive对接OBS 概述 Hive是一个 数据仓库 工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

。 通过服务编排调用连接器 OBS连接器创建完成后，支持在服务编排中调用该连接器，实现与OBS的对接。用户也可以在脚本中调用连接器，实现与OBS的对接。 参考如何开发服务编排中操作，创建一个空白服务编排。 图6 添加服务编排 在服务编排设计页面，从左侧“连接器 > 存储”中，拖拽“OBS”图元至画布中。

查看更多 →

Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。

查看更多 →

Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：

查看更多 →

Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。

查看更多 →

Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“ 数据湖 ”存储。

查看更多 →

Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。

查看更多 →

Presto对接OBS 概述 Presto分为prestoSql（现更名为Trino）和PrestoDB两大分支或是发行版。 Presto on OBS仅支持prestoSql/Trino发行版，下述对接步骤以prestoSql-333版本为例（从prestoSql-332版本开始Presto服务端必须使用JDK

查看更多 →

Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差

查看更多 →

（可选）测试是否能在存储桶中，存储对象。 该测试只能上传小于1MB字节的对象。 在该连接器详情页面，单击存储桶所在行的。 单击“点击上传”，选择对象文件，单击“上传”。 图4 选择对象 单击上传好的文件名，进行下载。 打开下载的对象存储文件，查看与上传的对象存储文件是否一致。 通过服务编排调用连接器

查看更多 →

集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS

查看更多 →

指定在对象最后一次更新后多少天，受规则影响的对象将转换为归档存储。若同时设置转换为低频访问存储和转换为归档存储，则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天。若单独设置转换为归档存储，则没有时间限制。 31天 文件过期删除天数 指定在对象最后一次更新后多少天，受规则影响的对象将过期并自动被O

查看更多 →

配置OBS存储功能 资产提供方上传资产时，需要保存资产的相关文件，因此需要用到存储。 公有云场景建议使用OBS。 前提条件 使用OBS之前，您需要拥有一个华为云账号或一个可用于访问OBS的IAM用户，本节将介绍如何注册华为云并实名认证、创建IAM用户、充值以及购买资源包，具体操作请参见使用OBS前需要做的准备工作。

查看更多 →

对接对象存储代理 背景信息 当对不同存储类型（OBS或MINIO）中的对象实例进行操作时，为了实现实例格式的兼容性，需要对不同存储类型中的对象实例配置存储代理连接器。 新建对象存储代理连接器 参考创建连接器入口中操作，进入创建连接器页面。 在左侧列表中，选择“存储 > 对象存储代理”，单击“+”。

查看更多 →

core-site.xml文件中的配置项，包括：fs.obs.access.key，fs.obs.secret.key，fs.obs.endpoint和fs.obs.impl。 fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint分别为用户的ak、

查看更多 →

HDFS和Yarn集群对接OBS配置项 在HDFS集群配置中选择“高级”，在core-site.xml的群集范围高级配置代码段（安全阀）增加OBS的ak、sk、endpoint和impl配置，对应名称为fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint、fs

查看更多 →

对接Redis实现数据存储 通过应用与Redis对接，实现数据存储功能。 前提条件 已获取Redis提供服务的URL地址和登录密码。 新建Redis连接器 参考创建连接器入口中操作，进入创建连接器页面。 在左侧列表中，选择“数据库 > Redis”，单击“+”。 图1 新建Redis

查看更多 →

对象存储（OBS） 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥（AK/SK） 跨区域使用OBS桶 父主题： 存储

查看更多 →