使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中，Alluxio位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce 和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问

查看更多 →

拓扑日志级别动态调整：提供命令行和Storm UI两种方式对运行中的拓扑日志进行动态修改。 性能提升：与之前的版本相比，Storm的性能得到了显著提升。虽然，拓扑的性能和用例场景及外部服务的依赖有很大的关系，但是对于大多数场景来说，性能可以提升3倍。 父主题： Storm

查看更多 →

Storm样例程序开发思路 通过典型场景，您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内

查看更多 →

配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内

查看更多 →

Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元组和时间的双重属性。流上的任何一个元素，都可以用Element<tuple,Time>的方式来表示，tuple是元组，包含了数据

查看更多 →

Storm应用开发常见问题 Storm接口介绍 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-OBS开发指引 Storm-HBase开发指引 Flux开发指引 父主题： Storm开发指南

查看更多 →

准备Storm应用开发环境 Storm应用开发环境简介 准备Eclipse与JDK 准备Linux客户端环境 导入并配置Storm样例工程 父主题： Storm开发指南

查看更多 →

Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。

查看更多 →

Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 安全模式下登录方式分为两种，票据登录和keytab文件登录，两种方式操作步骤基本一致，票据登录方式为开源提供的能力，后期需要人工上传票据，存

查看更多 →

已执行打包Storm样例工程应用。 调整IntelliJ IDEA客户端机器时间，和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类，使用remoteSubmit方式提交应用程序。并替换

查看更多 →

常运行。MRS集群管理员需要根据企业安全要求，为Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略，在修改业务用户密码以后，可以删除旧的拓扑并重新提交，使拓扑继续运行。 对系统的影响 为Storm业务用户配置独立的密码策略后，此用户将不受Manager界面上的“密码策略”配置影响。

查看更多 →

Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包，完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能；KafkaBolt主要完成Storm向Kafka中写入数据的功能。

查看更多 →

getExecutionEnvironment(); //将StormConfig设置到Job的环境变量中，用于构造Bolt和Spout //如果Bolt和Spout初始化时不需要config，则不用设置 env.getConfig().setGlobalJobParameters(stormConfig);

查看更多 →

执行以下命令重新提交任务。（业务jar包和Topology根据实际情况替换） source bigdata_env kinit 用户名 storm jar storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology

查看更多 →

节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行生成Storm应用Jar包步骤，生成storm-examples-1.0.jar，并放置到/opt/jartarget/。 操作步骤 安全模式下，请先进行安全认证，参见准备Linux客户端环境。

查看更多 →

Storm Flux开发指引 操作场景 本章节只适用于MRS产品中Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架，用户可以使用yaml文件来定义和部署拓扑，并且最终通过storm

查看更多 →