文件操作 介绍知识库的文件操作。 文件上传 文件下载 文件预览 关联内容 文件上传 文件上传功能可以上传文件、文件夹到个人建立的文件库或者团队文件库，也可以上传到项目文件库。 进入文件库详情页面。 上传文件。 上传文件有两种情况： 如果文件库详情页面为空，可单击详情页面的“文件”

查看更多 →

定的“mapred-site.xml”文件运行任务。以下是一个针对x版本的MapReduce tar包运行MapReduce任务的样例： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -conf

查看更多 →

定的“mapred-site.xml”文件运行任务。以下是一个针对x版本的MapReduce tar包运行MapReduce任务的样例： hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -conf

查看更多 →

直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml。 Yarn客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site.xml。 MapReduce客户端配

查看更多 →

选择“并行文件系统 > 创建并行文件系统”，创建一个名称为wordcount01的文件系统。 wordcount01仅为示例，文件系统名称必须全局唯一，否则会创建并行文件系统失败。 在OBS文件系统列表中单击文件系统名称wordcount01，选择“文件 > 新建文件夹”，分别创

查看更多 →

能会导致任务失败。 前提条件 已将准备连接MapReduce集群配置文件获取的配置文件放置到MapReduce样例工程的“../src/mapreduce-example-security/conf”路径下。 已参考规划MapReduce统计样例程序数据将待处理数据上传至HDFS。

查看更多 →

obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS： yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=NAMESERVICE

查看更多 →

直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/hdfs-site.xml。 Yarn客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site.xml。 MapReduce客户端配

查看更多 →

如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境中样例工程的“conf”配置文件目录中获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child.java

查看更多 →

选择“并行文件系统 > 创建并行文件系统”，创建一个名称为wordcount01的文件系统。 wordcount01仅为示例，文件系统名称必须全局唯一，否则会创建并行文件系统失败。 在OBS文件系统列表中单击文件系统名称wordcount01，选择“文件 > 新建文件夹”，分别创

查看更多 →

提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。

查看更多 →

文件树操作 CloudShell在命令行环境中提供了文件树操作能力，具体操作如下： 新建文件/目录 编辑文件 文件/目录重命名 删除文件/目录 下载文件 上传文件 相关登录 使用CloudShell登录 云服务器 登录CCE容器 使用CloudShell连接集群 使用CloudShell登录训练容器

查看更多 →

当使用load导入数据到Hive表的时候，属于需要跨文件系统的情况（例如原数据在HDFS上，而Hive表数据存放在OBS上），并且文件长度大于阈值（默认32 MB），则会触发使用distcp的MapReduce任务来执行数据迁移操作。这个MapReduce任务配置直接从Spark任务配置里面提取，但是Spark任务的net

查看更多 →

同一时刻，只有一个节点启动JHS进程，防止多个JHS操作同一文件冲突。 支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程

查看更多 →

/usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud.jar 在HDFS集群中增加配置项

查看更多 →

提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。

查看更多 →

Hive。 操作场景 当需要新建Hadoop类型连接时，建议先创建集群配置，以简化复杂的连接参数配置。 前提条件 已创建集群。 已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方

查看更多 →

如果集群开启了ZooKeeper SSL，则运行该样例前，需要检查配置文件mapred-site.xml（准备运行环境中样例工程的“conf”配置文件目录中获取）的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce.admin.reduce.child.java

查看更多 →

Hadoop基本shell命令，包括提交MapReduce作业，终止MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的InputFormat切割数据集，读取数据，并提供给map任务多条键值对进行

查看更多 →

目前是统一调用LoginUtil类进行安全认证。 在MapReduce样例工程代码中，test@HADOOP.COM、user.keytab和krb5.conf为示例，实际操作时请联系管理员获取相应账号对应权限的keytab文件和krb5.conf文件，并将keytab文件和krb5.conf文件放入到样例代码中的

查看更多 →

日志归档规则： MapReduce的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在参数配置界面中配置。

查看更多 →