配置OBS客户端 您可通过OBSServiceConfiguration配置类对OBSClient进行配置，可配置代理、连接超时、最大连接数等参数。通过OBSServiceConfiguration可以设置的参数见下表： 表1 OBS网络请求配置表 参数 描述 建议值 OBSServiceConfiguration

查看更多 →

批量配置日志采集路径 若您的虚机已配置过日志采集路径，您又进行了批量配置，则新的路径会追加到已有路径中。 配置完成后，单击“确定”。 在虚机列表中，单击虚机所在行“日志采集路径”列的，可查看该虚机已配置的日志采集路径。 查看虚机日志 日志采集路径配置成功后，若已配置的路径下存在日志文

查看更多 →

配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云 对象存储服务 论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置，可以配置的参数见下表： 参数 描述 建议值 access_key_id

查看更多 →

path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示：该值来自“job.properties”所定义。 例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）

查看更多 →

path 当前文件路径 source 源文件路径 target 目标文件路径 permissions 权限字符串 “${变量名}”表示：该值来自job.properties所定义。 例如：${nameNode}表示的就是“hdfs://hacluster”。（可参见配置Oozie作业运行参数）

查看更多 →

前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 如果集群为普通模式，需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source

查看更多 →

前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 如果集群为普通模式，需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source

查看更多 →

典型场景：从HDFS/OBS导出数据到SFTP 服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取S

查看更多 →

配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类（ObsConfig）创建OBS客户端（ObsClient）时，您可通过ObsConfig配置类对O

查看更多 →

配置OBS客户端 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类（ObsConfiguration）创建OBS客户端（ObsClient）时，您可通过ObsConf

查看更多 →

配置Spark通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Spark客户端创建Location为OBS路径的表。 Spark对接OBS MRS 集群支持Spark服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive

查看更多 →

配置Hive通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Hive客户端创建存储在OBS并行文件系统中的表。 Hive对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS：

查看更多 →

递归遍历子目录 支持选项： 是：包含该路径下的所有文件及文件夹下的文件。 否：仅包含该路径下的文件。 文件路径 文件所在的路径。 描述 物理实体描述信息。 “数据源类型”为“HDFS”时，参数配置说明见表10。 表10 数据源类型为HDFS的参数说明 参数 说明 实体名称 逻辑实体名称。系统自动获取。

查看更多 →

“HDFS”或者“OBS”选择文件。 最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 OBS程序路径地址以“obs://”开头，例如“obs://wordcount/program/XXX.jar”。HDFS程序路径地址以“hdfs://”开头，例如“

查看更多 →

面。 根据3配置的路径，在HDFS客户端上新建如下文件夹： hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/lib hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hbase

查看更多 →

从LakeFormation服务中批量取消授权OBS路径 功能介绍 从LakeFormation服务中批量取消授权OBS路径，已经有元数据使用的OBS路径无法取消授权 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK

查看更多 →

操作下的“配置数据存储”。 进入“配置数据存储”页面。 在“配置数据存储”页面，根据页面提示设置参数，为企业路由器实例配置OBS存储。 企业路由器连接 在企业路由器列表中，单击展开目标企业路由器的连接列表，并单击连接所在行的操作下的“配置数据存储”。 进入“配置数据存储”页面。

查看更多 →

华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台

查看更多 →

路径 代码样例文件路径 代码样例文件名 对应的API com.huawei.ges.graph.sdk.v1.examples.path ShowPathDetailSample 查询路径详情 父主题： 内存版样例

查看更多 →

使用Loader从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获

查看更多 →

据恢复等内容。 Hadoop数据迁移到华为云MRS服务 本实践使用华为云 CDM 服务将Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据（支持数据量在

查看更多 →