txt到此目录，命令如下： 登录HDFS客户端。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -putlocal_filepath

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt：数据输入文件

查看更多 →

典型场景：从S FTP服务器 导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP 服务器 导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFT

查看更多 →

使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir

查看更多 →

指定文件名迁移 从FTP/SFTP/OBS导出文件时， CDM 支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输

查看更多 →

指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输

查看更多 →

指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输

查看更多 →

数据读取 单表查询 多表连接查询 WITH表达式 跨逻辑集群数据读写

查看更多 →

描述 默认值 mapreduce.reduce.shuffle.max-host-failures MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时，可以降低客户端应用的失败率。该参数适用于 MRS 3.x版本。 5 mapreduce.client

查看更多 →

运行MapReduce作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台

查看更多 →

使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir

查看更多 →

从MRS导入数据概述 MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海

查看更多 →

配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS

查看更多 →

使用Loader从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFT

查看更多 →

执行如下命令提交wordcount作业，读取源数据进行分析并将执行结果输出至HDFS。 cd /opt/client source bigdata_env kinit test hadoop jar HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3

查看更多 →

执行以下命令认证用户并登录。首次登录需要修改密码。 kinit developuser 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir /user/developuser hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples

查看更多 →

执行以下命令认证用户并登录。首次登录需要修改密码。 kinit developuser 执行以下命令在HDFS创建目录并上传样例工程到该目录。 hdfs dfs -mkdir /user/developuser hdfs dfs -put -f /opt/client/Oozie/oozie-client-*/examples

查看更多 →

描述 默认值 mapreduce.reduce.shuffle.max-host-failures MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时，可以降低客户端应用的失败率。该参数适用于MRS 3.x版本。 5 mapreduce.client

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

使用Loader从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。

查看更多 →

配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS

查看更多 →