网站 域名 是否需要接入备案 使用华为云OBS做托管的网站： 如果源站在华为云：一级域名需要在华为云提交备案。 如果源站不在华为云： 一级域名及其子域名都不在华为云解析，此时不需要在华为云接入备案。 一级域名不在华为云，子域名在华为云解析，此时需要在华为云接入备案。 父主题： 备案场景

查看更多 →

转换为归档存储天数 指定在对象最后一次更新后多少天，受规则影响的对象将转换为归档存储。若同时设置转换为低频访问存储和转换为归档存储，则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天。若单独设置转换为归档存储，则没有时间限制。 31天 文件过期删除天数 指定在对象最后一次更

查看更多 →

单击“文件管理”，进入“文件管理”页面。 选择“HDFS文件列表”。 图1 HDFS文件列表 进入待导入数据的存储目录。 可以单击“新建”，创建新的文件夹目录，也可以选择在HDFS中已存在的文件夹。 单击“导入数据”，正确配置HDFS和OBS路径。 配置OBS或者HDFS路径时，单击“浏览”并选择文件目录，然后单击“确定”。

查看更多 →

配置Yarn通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在集群客户端执行Yarn任务访问OBS。 Yarn对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录

查看更多 →

loadList。 配置Deep storage在OBS中的存储路径。 配置OBSA-HDFS插件。 在官方Github下载OBSA-HDFS插件：下载地址，然后拷贝到extensions/druid-hdfs-storage/ 目录。 在配置目录conf/druid/single-se

查看更多 →

obsutil安装和配置 obsutil是用于访问、管理 对象存储服务 OBS的命令行工具，使用该工具可以对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。 操作命

查看更多 →

</property> 对接OBS及相关参数配置参考网址： https://support.huaweicloud.com/bestpractice-obs/obs_05_1507.html 获取集群的配置文件 参考安装 MRS 集群客户端，下载并解压客户端。 获取下载的HDFS客户端配置文件（下载路

查看更多 →

单击“添加日志策略”，设置自定义日志参数，配置日志策略，以nginx为例，不同工作负载根据实际情况配置。 图1 添加日志策略 存储类型有“主机路径”和“容器路径”两种类型可供选择： 主机路径：可将主机上的路径挂载到指定的容器路径。日志策略配置参数如下： 表1 添加日志策略-主机路径 参数 参数说明 存储类型 设置

查看更多 →

典型场景：从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权访

查看更多 →

重启实例”，在弹出对话框输入密码，单击“确定”，重启所有RangerAdmin实例。 对接HDFS存储源 HDFS存储源无需进行配置。 对接OBS存储源 建表时指定Location为OBS路径： 已完成存算分离配置，具体请参考配置Guardian服务对接OBS。 使用Ranger管理员用户rangeradmin登录

查看更多 →

Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/.Trash/${userName}/Current

查看更多 →

配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS 服务器 的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配

查看更多 →

存储的真实副本不一致而失败。因此该特性不适用于写完数据即读的场景，请结合业务场景谨慎使用该特性。 该功能适用于MRS 3.2.0-LTS.1及之后版本。 操作步骤 登录 FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。

查看更多 →

HDFS/OBS中源文件的输入路径。 说明： 路径参数可以使用宏定义，具体请参考配置项中使用宏定义。 /user/test 路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。配置多个过滤条件时使用“,”隔开，配置为空时表示不过滤目录。不支持正则表达式过滤。 * 文件过滤器 配

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配

查看更多 →

配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中 CS V和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。

查看更多 →

配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置，可以配置的参数见下表： 参数 描述 建议值 key 访问密钥中的AK。

查看更多 →