Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

Hive、Flink、Spark、Tez、Impala、Ranger、Presto、Oozie MRS 3.0.5 Hive、Flink、Spark、Tez、Impala、Ranger、Presto、Oozie、Storm、Loader MRS 3.0.2 Hive、Flink、Spark、Te

查看更多 →

me”有读写权限。 spark2x/hadoop.<系统 域名 > 系统随机生成 Spark2x系统管理员用户，用户权限： 1、Spark2x服务启动用户 2、提交Spark2x任务的权限 spark_zk/hadoop.<系统域名> 系统随机生成 用于Spark2x访问ZooKeeper。

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

将jar包放在1中指定的目录下。 在Storm客户端安装目录“Storm/storm-1.2.1/bin”下执行打包命令，将上述jar包打成一个完整的业务jar包放入指定目录/opt/jartarget（可为任意空目录）。执行sh storm-jartool.sh /opt/jarsource/

查看更多 →

Windows下打包Storm业务 操作场景 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。 前提条件 已执行打包Storm样例工程应用。

查看更多 →

Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github

查看更多 →

骤） kinit 组件业务用户 执行命令进行客户端操作。 例如执行以下命令： cql storm 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。 父主题： 使用Storm

查看更多 →

2.0.0 2.0.0 2.3.0 2.3.0 Spark/Spark2x 2.2.2 2.4.5 3.1.1 3.1.1 3.1.1 3.3.1 3.3.1 Sqoop - 1.4.7 - 1.4.7 - - 1.4.7 Storm 1.2.1 - - - - - - Tez 0

查看更多 →

将jar包放在1中指定的目录下。 在Storm客户端安装目录“Storm/storm-1.2.1/bin”下执行打包命令，将上述jar包打成一个完整的业务jar包放入指定目录/opt/jartarget（可为任意空目录）。执行sh storm-jartool.sh /opt/jarsource/

查看更多 →

易于调试：CQL提供了详细的异常码说明，降低了用户对各种错误的处理难度。 关于Storm的架构和详细原理介绍，请参见：https://storm.apache.org/。 Storm原理 基本概念 表1 概念介绍 概念 说明 Tuple Storm核心数据结构，是消息传递的基本单元，不可变Key-Val

查看更多 →

> 待操作的集群名称 > 服务 ”。 登录Storm WebUI： MRS 3.x之前版本：选择“Storm”，在“Storm 概述”的“Storm Web UI”，单击任意一个UI链接，打开Storm的WebUI。 第一次访问Storm WebUI，需要在浏览器中添加站点信任以继续打开页面。

查看更多 →

Storm性能调优 操作场景 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数，请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。

查看更多 →

Storm应用开发流程介绍 本文档主要基于Java API进行Storm拓扑的开发。 开发流程如图1所示。 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 了解基本概念 在开始开发应用前，需要了解Storm的基本概念。 准备开发环境 推荐使用Eclipse工具

查看更多 →

Storm开发指南 Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Storm应用 Storm应用开发常见问题

查看更多 →

Windows下打包Storm业务 操作场景 Storm支持在Windows环境下打包。 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。

查看更多 →

Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github

查看更多 →

迁移Storm业务至Flink 概述 完整迁移Storm业务 嵌入式迁移Storm业务 迁移Storm对接的外部安全组件业务 父主题： 使用Storm

查看更多 →

生成Storm应用Jar包 操作场景 通过命令行生成示例代码的jar包。 操作步骤 在Storm示例代码根目录执行如下命令打包： mvn package 执行成功后，将会在target目录生成storm-examples-1.0.jar。 父主题： 调测Storm应用

查看更多 →

中获取指定Topic消息 问题背景与现象 使用MRS安装集群，主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定Topic的消息时，发现消费不到任何数据。 可能原因

查看更多 →

最高权限管理员组，默认值为“supergroup”。 Spark2x 参数“spark.admin.acls”表示Spark2x的管理员列表，列表中成员有权限管理所有Spark任务，若用户未加入此列表则无法管理所有Spark任务。默认值为“admin”。 父主题： 集群用户权限概述

查看更多 →