的“../src/mapreduce-example-security/conf”路径下。 不使用访问多组件样例程序时，如果不影响统计样例程序的正常编译，可忽略多组件样例程序相关报错信息，否则请在导入样例工程后将多组件样例程序类文件删除。 导入样例工程到IntelliJ IDEA开发环境。

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

可以将多个版本的MapReduce tar包上传至HDFS。不同的“mapred-site.xml”文件可以指向不同的位置。用户在此之后可以针对特定的“mapred-site.xml”文件运行任务。以下是一个针对x版本的MapReduce tar包运行MapReduce任务的样例： hadoop

查看更多 →

可以将多个版本的MapReduce tar包上传至HDFS。不同的“mapred-site.xml”文件可以指向不同的位置。用户在此之后可以针对特定的“mapred-site.xml”文件运行任务。以下是一个针对x版本的MapReduce tar包运行MapReduce任务的样例： hadoop

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题： MapReduce开发指南（安全模式）

查看更多 →

编译并运行MapReduce应用 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包，在工程目录

查看更多 →

程序输出 代码片段描述 缩写 扩展内容 将表达式发送到标准输出 “print” print(my_expression) 父主题： 后缀片段

查看更多 →

子程序 存储在数据库中的存储过程、函数、操作符和高级包等。当在数据库上建立好后，可以在其他程序中调用它们。 父主题： 声明语法

查看更多 →

子程序 存储在数据库中的存储过程、函数和操作符及高级包等。当在数据库上建立好后，可以在其他程序中调用它们。 父主题： 声明语法

查看更多 →

构建程序 本例提供了实现图片压缩功能的程序包，使用空白模板创建函数，用户可以下载（fss_examples_image_thumbnail.zip）（sha256校验包）学习使用。 创建程序包 本例使用Python语言实现图片压缩的功能，有关函数开发的过程请参考Python函数开

查看更多 →

构建程序 本例提供了为图片打水印功能的程序包，使用空白模板创建函数，用户可以下载（watermark.zip）学习使用。 创建程序包 本例使用Python语言实现为图片打水印的功能，有关函数开发的过程请参考Python函数开发。本例不再介绍业务功能实现的代码，样例代码目录如图1所示。

查看更多 →

构建程序 本案例提供了实现提取告警日志功能的程序包，使用空白模板创建函数，用户可以下载（fss_examples_logstore_warning.zip）学习使用。 创建功能函数 创建实现日志提取功能的函数，将示例代码包上传。创建过程请参考创建函数，运行时语言选择“Python2

查看更多 →

构建程序 本例提供了为文件加/解密的程序包，使用空白模板创建函数，用户可以使用示例代码学习使用。 创建程序包 本例使用Java8语言实现加/解密的功能，有关函数开发的过程请参考Java函数开发。本例不再介绍业务功能实现的代码，样例代码目录如图1所示。 图1 样例代码目录 其中Fi

查看更多 →

构建程序 本案例提供了实现告警日志功能的程序包，用户可以下载（index.zip）、学习使用。 创建功能函数 创建实现日志提取功能的函数，将示例代码包上传，如图1所示。创建过程请参考创建函数。 图1 创建函数 函数实现的功能是：将收到的日志事件数据进行分析，过滤白名单功能，对非法

查看更多 →

子程序 存储在数据库中的存储过程、函数和操作符及高级包等。当在数据库上建立好后，可以在其他程序中调用它们。 父主题： 声明语法

查看更多 →

Scala开发环境的基本配置。版本要求：2018.2.11或其他兼容版本。 安装Editra Python开发环境的编辑器，用于编写Python程序。或者使用其他编写Python应用程序的IDE。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。 安装Python

查看更多 →

运行MapReduce作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台

查看更多 →

oozie-examples/ooziesecurity-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-exa

查看更多 →