配置Hive通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Hive客户端创建存储在OBS并行文件系统中的表。 Hive对接OBS MRS 集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS：

查看更多 →

递归遍历子目录 支持选项： 是：包含该路径下的所有文件及文件夹下的文件。 否：仅包含该路径下的文件。 文件路径 文件所在的路径。 描述 物理实体描述信息。 “数据源类型”为“HDFS”时，参数配置说明见表10。 表10 数据源类型为HDFS的参数说明 参数 说明 实体名称 逻辑实体名称。系统自动获取。

查看更多 →

“HDFS”或者“OBS”选择文件。 最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 OBS程序路径地址以“obs://”开头，例如“obs://wordcount/program/XXX.jar”。HDFS程序路径地址以“hdfs://”开头，例如“

查看更多 →

配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS 服务器 的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中 CS V和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

配置HDFS同分布策略（Colocation） 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

据恢复等内容。 Hadoop数据迁移到华为云MRS服务 本实践使用华为云 CDM 服务将Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据（支持数据量在

查看更多 →

配置OBS客户端 您可通过OBSServiceConfiguration配置类对OBSClient进行配置，可配置代理、连接超时、最大连接数等参数。通过OBSServiceConfiguration可以设置的参数见下表： 表1 OBS网络请求配置表 参数 描述 建议值 OBSServiceConfiguration

查看更多 →

配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云 对象存储服务 论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置，可以配置的参数见下表： 参数 描述 建议值 key 访问密钥中的AK。

查看更多 →

路径 代码样例文件路径 代码样例文件名 对应的API com.huawei.ges.graph.sdk.v1.examples.path ShowPathDetailSample 查询路径详情 父主题： 内存版样例

查看更多 →

面。 根据3配置的路径，在HDFS客户端上新建如下文件夹： hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/lib hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hbase

查看更多 →

华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台

查看更多 →

从LakeFormation服务中批量取消授权OBS路径 功能介绍 从LakeFormation服务中批量取消授权OBS路径，已经有元数据使用的OBS路径无法取消授权 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK

查看更多 →

路径 代码样例文件路径 代码样例文件名 对应的API com.huawei.ges.graph.sdk.v1.examples.path ShowPathDetailSample 查询路径详情 父主题： 内存版样例

查看更多 →

使用Loader从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获

查看更多 →

前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 如果集群为普通模式，需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source

查看更多 →

前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 如果集群为普通模式，需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source

查看更多 →

path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示：该值来自job.properties所定义。 例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）

查看更多 →