中软国际数据治理专业服务解决方案实践

打包Storm样例工程应用 操作场景 通过IntelliJ IDEA导出Jar包并指定导出jar包名称，比如“storm-examples.jar”。 操作步骤 若Storm-JDBC样例需要在Windows下运行，则需要替换配置文件路径；否则，不需要执行此步骤。 在IDEA界面右键单击“jdbc

查看更多 →

Storm应用开发常见问题 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 IntelliJ IDEA中远程提交拓扑执行Main时报错：Command

查看更多 →

时间而定，步骤如下： 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容： topology.auto-credentials: - org.apache.storm.security.auth.kerberos

查看更多 →

在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。

查看更多 →

Storm应用开发常见问题 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 使用旧插件storm-kafka时如何正确设置offset

查看更多 →

Storm-HBase开发指引 操作场景 本章节只适用于Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HBase组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开

查看更多 →

提交Storm拓扑失败排查思路 问题背景与现象 使用 MRS 流式集群，主要安装ZooKeeper、Storm、Kafka。 使用客户端命令，提交Topology失败。 可能原因 Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。

查看更多 →

嵌入式迁移Storm业务 操作场景 该任务指导用户通过嵌入式迁移的方式在Flink的DataStream中嵌入Storm的代码，如使用Storm API编写的Spout/Bolt。 操作步骤 在Flink中，对Storm拓扑中的Spout和Bolt进行嵌入式转换，将之转换为Flink的Operator，代码示例如下：

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。

查看更多 →

准备Storm应用开发环境 准备Storm应用开发和运行环境 导入并配置Storm样例工程 父主题： Storm开发指南（普通模式）

查看更多 →

Storm样例程序开发思路 通过典型场景，用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。

查看更多 →

Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HDFS组件已经安装，并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境，请参见准备Storm应用开发环境。

查看更多 →

时间而定，步骤如下： 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容： topology.auto-credentials: - org.apache.storm.security.auth.kerberos

查看更多 →

Storm应用开发环境简介 本开发指南提供了MRS产品Storm组件基于开源Storm的Eclipse样例工程和常用接口说明，便于开发者快速熟悉Storm开发。 开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般是在Windows环境下进行；应用提交一般是在Linux环境下进行。

查看更多 →

erberos认证的集群，只有属于“stormadmin”或“storm”的用户可以查看所有拓扑。 storm list 执行以下命令，删除Storm中的拓扑。 storm kill 拓扑名称 父主题： 使用Storm

查看更多 →

在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑，目前样例代码中仅WordCountTopology支持远程提交，其他拓扑想实现远程提交，请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。

查看更多 →

Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。

查看更多 →

准备Storm应用开发环境 Storm应用开发环境简介 准备Eclipse与JDK 准备Linux客户端环境 导入并配置Storm样例工程 父主题： Storm开发指南

查看更多 →

Storm应用开发常见问题 Storm接口介绍 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-OBS开发指引 Storm-HBase开发指引 Flux开发指引 父主题： Storm开发指南

查看更多 →