中软国际数据治理专业服务解决方案实践

”，单击“确定”。 建议“-Xms”和“-Xmx”设置成相同的值，避免JVM动态调整堆内存大小时影响性能。 当Storm集群规模越大，Worker数量越多时，可以适当调大Nimbus的GC_OPTS参数，配置建议如下：Worker数量为20个时，“-Xmx”设置为不小于1G；Wo

查看更多 →

Spout Topology中产生源数据的组件，是Tuple的来源，通常可以从外部数据源（如消息队列、数据库、文件系统、TCP连接等）读取数据，然后转换为Topology内部的数据结构Tuple，由下一级组件处理。 Bolt Topology中接受数据并执行具体处理逻辑（如过滤，统计、转换、合并、结果持久化等）的组件。

查看更多 →

> 待操作的集群名称 > 服务 ”。 登录Storm WebUI： MRS 3.x之前版本：选择“Storm”，在“Storm 概述”的“Storm Web UI”，单击任意一个UI链接，打开Storm的WebUI。 第一次访问Storm WebUI，需要在浏览器中添加站点信任以继续打开页面。

查看更多 →

Storm开发指南 Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Storm应用 Storm应用开发常见问题

查看更多 →

Storm应用开发流程介绍 本文档主要基于Java API进行Storm拓扑的开发。 开发流程如图1所示。 图1 拓扑开发流程 父主题： Storm应用开发概述

查看更多 →

Storm性能调优 操作场景 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数，请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。

查看更多 →

将jar包放在1中指定的目录下。 在Storm客户端安装目录“Storm/storm-1.2.1/bin”下执行打包命令，将上述jar包打成一个完整的业务jar包放入指定目录/opt/jartarget（可为任意空目录）。执行sh storm-jartool.sh /opt/jarsource/

查看更多 →

迁移Storm业务至Flink 概述 完整迁移Storm业务 嵌入式迁移Storm业务 迁移Storm对接的外部安全组件业务 父主题： 使用Storm

查看更多 →

Windows下打包Storm业务 操作场景 Storm支持在Windows环境下打包。 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。

查看更多 →

Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github

查看更多 →

生成Storm应用Jar包 操作场景 通过命令行生成示例代码的jar包。 操作步骤 在Storm示例代码根目录执行如下命令打包："mvn package"。执行成功后，将会在target目录生成storm-examples-1.0.jar。 父主题： 调测Storm应用

查看更多 →

骤） kinit 组件业务用户 执行命令进行客户端操作。 例如执行以下命令： cql storm 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。 父主题： 使用Storm

查看更多 →

将jar包放在1中指定的目录下。 在Storm客户端安装目录“Storm/storm-1.2.1/bin”下执行打包命令，将上述jar包打成一个完整的业务jar包放入指定目录/opt/jartarget（可为任意空目录）。执行sh storm-jartool.sh /opt/jarsource/

查看更多 →

Windows下打包Storm业务 操作场景 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。 前提条件 已执行打包Storm样例工程应用。

查看更多 →

Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github

查看更多 →

使用Storm客户端 操作场景 该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”

查看更多 →

Storm”，选择“配置”选项卡，在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值，建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunjdwp:transport=dt_socket

查看更多 →

> 待操作的集群名称 > 服务 ”。 登录Storm WebUI： MRS 2.x及之前版本：选择“Storm”，在“Storm 概述”的“Storm WebUI”，单击任意一个UI链接，打开Storm的WebUI。 第一次访问Storm WebUI，需要在浏览器中添加站点信任以继续打开页面。

查看更多 →

修复后需单击“重新检查”，获取新的检查结果。 升级数据库大版本过程将造成不超过五分钟的业务中断，请您尽量在业务低峰期执行该操作，并且确保您的应用有自动重连机制。 升级主实例大版本时，如有只读实例，也会同步升级只读实例的大版本（不支持单独升级只读实例的大版本）。 升级大版本后，实例会升级到新的内核大版本，不支持降级。

查看更多 →

获取大屏指定组件数据 功能介绍 获取大屏指定组件数据。 URI POST /v1/{project_id}/screens/{screen_id}/query-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参考获取项目ID。

查看更多 →

远程提交的时候，要先将该应用程序和其他外部依赖(非excemple工程提供，用户自己程序依赖)的jar包打包成一个大的jar包 * 再通过storm客户端中storm -jar的命令进行提交 * * 如果是安全环境，客户端命令行提交之前，必须先通过kinit命令进行安全登录

查看更多 →