配置Yarn通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在集群客户端执行Yarn任务访问OBS。 Yarn对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录

查看更多 →

为桶配置服务端加密后，OBS会对历史对象进行加密吗？ 不会。 OBS只对 服务器 端加密配置生效后上传的对象进行加密，不会加密历史对象。如果您需要加密历史对象，需删除历史对象后重新上传。 父主题： 服务端加密

查看更多 →

WORM不阻止修改对象元数据。 配置桶级WORM OBS支持通过控制台、API方式配置桶级WORM，不支持通过SDK、OBS Browser+、obsutil方式配置桶级WORM。 使用OBS控制台 使用控制台配置WORM前，请确认创建桶时已开启WORM功能。如果您在OBS控制台上配置不了W

查看更多 →

配置对象级WORM保护策略 功能介绍 开启了WORM开关的桶，上传的对象支持配置或修改对象保护期限。 如果上传对象时没有配置保护期限或自动应用桶级默认保护策略，您可以通过该操作配置对象保护期限。 如果上传对象时配置了保护期限或自动应用了默认保护期限，允许用户通过该操作延长保护期限。

查看更多 →

桶可以被公开读，视为“不合规” obs-bucket-public-write-policy-check OBS桶禁止公开写 obs 桶可以被公开写，视为“不合规” obs-bucket-ssl-requests-only OBS桶策略授权行为使用SSL加密 obs OBS桶策略授权了无需SSL加密的行为，视为“不合规”

查看更多 →

作业对象的扩展属性配置 路径：公共平台->业务配置->作业对象->更多操作->表单属性配置 配置简介 对作业对象的扩展属性进行配置 图2.1-3作业对象扩展属性配置 父主题： 作业对象配置

查看更多 →

作业对象的基础属性配置 路径：公共平台->系统配置->标准字段管理 配置简介 对作业对象的基础字段进行配置，可单独控制每个字段“是否显示”与“是否必填” 图2.1-2作业对象标准字段配置 父主题： 作业对象配置

查看更多 →

还可以使用生命周期规则批量删除对象或清空桶：在配置生命周期规则时，配置“对象过期删除天数”。详情请参见配置生命周期规则。 OBS Browser+ 支持，可批量删除多个文件和文件夹，一次删除的数量没有限制。 详情请参见删除文件或文件夹。 obsutil 支持按前缀批量删除对象，详情请参见删除对象。 SDK 支

查看更多 →

OBS 对象存储服务 （Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。详情参考帮助文档。本次实践，使用OBS来存储xxxx服务平台上传的图片、文件或者通过接口调用生成的json文件。 登录华为云OBS管理控制台

查看更多 →

不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶，不支持OBS并行文件系统。 不支持 OBS区域 域名 OBS区域域名，即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS

查看更多 →

不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶，不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名，即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS

查看更多 →

配置ClickHouse对接OBS源文件 使用S3表函数 登录主 OMS 节点。 执行以下命令获取OBS内的存储数据。 select * from S3(path, [ak, sk,] format, structure, [compression]) path：访问域名/OBS文件

查看更多 →

Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式 写入OBS的文件格式，当前

查看更多 →

配置Sqoop通过IAM委托访问OBS 参考配置 MRS 集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads

查看更多 →

配置Hive通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source

查看更多 →

图4 添加OBS日志级别 使用Spark Shell读取OBS文件 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 修改配置文件： vim 客户端安装目录/Spark2x/spark/conf/hdfs-site.xml <property>

查看更多 →

配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录

查看更多 →

配置ClickHouse对接OBS源文件 本章节主要介绍使用ClickHouse对接OBS进行文件读写。 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。 select * from S3(path, [ak, sk,] format, structure

查看更多 →

配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env

查看更多 →

配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题： 配置MRS集群存算分离

查看更多 →

不支持 桶名 OBS存储桶桶名 无法绑定不存在的存储桶 目前仅支持OBS存储桶，不支持并行文件系统 不支持 OBS Endpoint OBS区域域名 OBS存储桶必须和HPC型文件系统在同一个Region 不支持 勾选“将OBS桶读写权限授权给SFS Turbo服务进行OBS目标绑定”。

查看更多 →