配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit

查看更多 →

单击“文件管理”，进入“文件管理”页面。 选择“HDFS文件列表”。 图1 HDFS文件列表 进入待导入数据的存储目录。 可以单击“新建”，创建新的文件夹目录，也可以选择在HDFS中已存在的文件夹。 单击“导入数据”，正确配置HDFS和OBS路径。 配置OBS或者HDFS路径时，单击“浏览”并选择文件目录，然后单击“确定”。

查看更多 →

</property> 对接OBS及相关参数配置参考网址： https://support.huaweicloud.com/bestpractice-obs/obs_05_1507.html 获取集群的配置文件 参考安装 MRS 集群客户端，下载并解压客户端。 获取下载的HDFS客户端配置文件（下载路

查看更多 →

新建连接”，连接器类型选择“ 对象存储服务 （OBS）”后，单击“下一步”配置OBS连接参数，如图3所示。 名称：用户自定义连接名称，例如“obslink”。 OBS终端节点、端口：配置为OBS实际的地址信息。 OBS类型：保持默认。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK信息。

查看更多 →

Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/.Trash/${userName}/Current

查看更多 →

单击“添加日志策略”，设置自定义日志参数，配置日志策略，以nginx为例，不同工作负载根据实际情况配置。 图1 添加日志策略 存储类型有“主机路径”和“容器路径”两种类型可供选择： 主机路径：可将主机上的路径挂载到指定的容器路径。日志策略配置参数如下： 表1 添加日志策略-主机路径 参数 参数说明 存储类型 设置

查看更多 →

配置Yarn通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在集群客户端执行Yarn任务访问OBS。 Yarn对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录

查看更多 →

典型场景：从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权访

查看更多 →

loadList。 配置Deep storage在OBS中的存储路径。 配置OBSA-HDFS插件。 在官方Github下载OBSA-HDFS插件：下载地址，然后拷贝到extensions/druid-hdfs-storage/ 目录。 在配置目录conf/druid/single-se

查看更多 →

批量配置日志采集路径 若您的虚机已配置过日志采集路径，您又进行了批量配置，则新的路径会追加到已有路径中。 配置完成后，单击“确定”。 在虚机列表中，单击虚机所在行“日志采集路径”列的，可查看该虚机已配置的日志采集路径。 查看虚机日志 日志采集路径配置成功后，若已配置的路径下存在日志文

查看更多 →

配置Spark通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Spark客户端创建Location为OBS路径的表。 Spark对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive

查看更多 →

obsutil安装和配置 obsutil是用于访问、管理对象存储服务OBS的命令行工具，使用该工具可以对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。 操作命

查看更多 →

重启实例”，在弹出对话框输入密码，单击“确定”，重启所有RangerAdmin实例。 对接HDFS存储源 HDFS存储源无需进行配置。 对接OBS存储源 建表时指定Location为OBS路径： 已完成存算分离配置，具体请参考配置Guardian服务对接OBS。 使用Ranger管理员用户rangeradmin登录

查看更多 →

HDFS/OBS中源文件的输入路径。 说明： 路径参数可以使用宏定义，具体请参考配置项中使用宏定义。 /user/test 路径过滤器 配置通配符对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。配置多个过滤条件时使用“,”隔开，配置为空时表示不过滤目录。不支持正则表达式过滤。 * 文件过滤器 配

查看更多 →

配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置，可以配置的参数见下表： 参数 描述 建议值 access_key_id

查看更多 →

配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类（ObsConfiguration）创建OBS客户端（ObsClient）时，您可通过ObsConf

查看更多 →

配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类（ObsConfig）创建OBS客户端（ObsClient）时，您可通过ObsConfig配置类对O

查看更多 →

配置Hive通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Hive客户端创建存储在OBS并行文件系统中的表。 Hive对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS：

查看更多 →

“HDFS”或者“OBS”选择文件。 最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 OBS程序路径地址以“obs://”开头，例如“obs://wordcount/program/XXX.jar”。HDFS程序路径地址以“hdfs://”开头，例如“

查看更多 →

配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS 服务器 的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →