基于Slurm构建泛HPC场景云上云下资源协同解决方案

可能原因 Storm服务中Nimbus异常。 Storm集群信息较多超过系统默认Thrift传输大小的设置。 原因分析 查看Storm服务状态及监控指标： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Storm”，查看当前Storm状态，发现状态为良好，且监控指标内容显示正确。

查看更多 →

MRS的Storm集群提交任务时如何指定日志路径？ 客户可以根据自己的需求，修改MRS的流式Core节点上的/opt/Bigdata/MRS_XXX /1_XX _Supervisor/etc/worker.xml文件，将标签filename的值设定为客户需要的路径，然后在Manager页面重启对应实例。

查看更多 →

Storm Storm基本原理 Storm与其他组件的关系 Storm开源增强特性 父主题： 组件介绍

查看更多 →

thrift.threads 设置主用Nimbus对外提供服务时的最大连接线程数。当Storm集群规模较大，Supervisor实例数量较多时，需要增加线程数。 512 父主题： 使用Storm

查看更多 →

一对应，否则使用storm命令提交拓扑任务出错。 加载客户端环境变量且对应用户登录成功后，该用户可以在任意storm客户端下执行storm命令来提交拓扑任务，但提交拓扑命令执行完成后，提交成功的拓扑仍然在用户所对应的Storm集群中，不会出现在其他Storm集群中。 如果修改了集群 域名 ，需

查看更多 →

访问Storm的WebUI 操作场景 用户可以通过Storm的WebUI，在图形化界面使用Storm。 Storm的WebUI支持查看以下信息： Storm集群汇总信息 Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“a

查看更多 →

务提交到Storm平台开启实时数据的接收、处理及结果输出；并可以在合适的时候中止业务。 高可用性 Nimbus HA机制，避免了开源Storm集群中Nimbus出现单点故障而导致集群无法提供Topology的新增及管理操作的问题，增强了集群可用性。 父主题： Storm

查看更多 →

然后按照提示输入密码，无异常提示返回，则完成了用户的kerberos认证。 执行如下命令。 storm list 如果可以正常打印出storm集群正在运行的任务信息，则说明客户端安装成功。 父主题： 准备Storm应用开发环境

查看更多 →

lasspath”中存在两个“storm.yaml”文件。 Worker进程初始化时间较长，超过Storm集群设置Worker启动超时时间，导致Worker被Kill从而一直进行重分配。 定位思路 使用Storm客户端提交拓扑，检查出重复“storm.yaml”问题。 重新打包Jar包，然后再提交拓扑。

查看更多 →

产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 集群无法对外提供Storm服务，用户无法执行新的Storm任务。 可能原因 Kerberos集群故障。 ZooKeeper集群故障或假死。 Storm集群中主备Nimbus状态异常。

查看更多 →

行调整，然后单击“保存”，单击“确定”。 建议“-Xms”和“-Xmx”设置成相同的值，避免JVM动态调整堆内存大小时影响性能。 当Storm集群规模越大，Worker数量越多时，可以适当调大Nimbus的GC_OPTS参数，配置建议如下：Worker数量为20个时，“-Xmx”

查看更多 →

对系统的影响 集群无法对外提供Storm服务。 用户无法执行新的Storm任务。 可能原因 Kerberos组件故障 ZooKeeper组件故障或假死 Storm集群中主备Nimbus状态异常 处理步骤 检查Kerberos组件状态。未启用Kerberos认证的集群无需检查Kerberos状态，请执行2。

查看更多 →

使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优

查看更多 →

ces_ClientConfig\Storm\config”，获取相关配置文件。 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。 streaming-site.xml 配置Storm详细参数。 在应用开发过程中，如需在

查看更多 →

使用Storm Storm WebUI页面中events超链接地址无效 提交Storm拓扑失败排查思路 提交Storm拓扑失败，提示Failed to check principle for keytab 提交Storm拓扑后Worker日志为空 提交Storm拓扑后Worker运行异常，日志提示Failed

查看更多 →

Cluster_1_Services_ClientConfig\Storm\config”，获取相关配置文件。 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。 user.keytab 对于Kerberos安全认证提供用户信息。

查看更多 →

已执行打包Strom样例工程应用。 调整IntelliJ IDEA客户端机器时间，和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类，使用remoteSubmit方式提交应用程序。并替换Jar文件地址。

查看更多 →

已执行打包Storm样例工程应用。 调整IntelliJ IDEA客户端机器时间，和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类，使用remoteSubmit方式提交应用程序。并替换

查看更多 →

开发Storm应用 Storm样例程序开发思路 创建Storm Spout 创建Storm Bolt 创建Storm Topology 父主题： Storm开发指南（安全模式）

查看更多 →

创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等等。 如果Bolt之后还有其他拓扑算子，可以使用OutputFieldsDeclarer.declareStream定义Stream，使用OutputCollector

查看更多 →

创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com

查看更多 →