storm编程 更多内容
  • 准备Storm应用开发环境

    准备Storm应用开发环境 Storm应用开发环境简介 准备Eclipse与JDK 准备Linux客户端环境 导入并配置Storm样例工程 父主题: Storm开发指南

    来自:帮助中心

    查看更多 →

  • Storm样例程序开发思路

    部分代码请参考创建Storm Spout,创建Storm Bolt,创建Storm Topology,完整代码请参考Storm-examples示例工程。 父主题: 开发Storm应用

    来自:帮助中心

    查看更多 →

  • Storm应用开发常见问题

    Storm应用开发常见问题 Storm接口介绍 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-OBS开发指引 Storm-HBase开发指引 Flux开发指引 父主题: Storm开发指南

    来自:帮助中心

    查看更多 →

  • Storm-Kafka开发指引

    Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包,完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。

    来自:帮助中心

    查看更多 →

  • Storm-HDFS开发指引

    截止时间而定,步骤如下。 在安装好的storm客户端目录的Storm/storm-0.10.0/conf/storm.yaml文件尾部新起一行添加如下内容。 topology.auto-credentials: - backtype.storm.security.auth.kerberos

    来自:帮助中心

    查看更多 →

  • Storm应用开发环境简介

    Storm应用开发环境简介 本开发指南提供了 MRS 产品Storm组件基于开源Storm的Eclipse样例工程和常用接口说明,便于开发者快速熟悉Storm开发。 开发环境准备分为应用开发客户端和应用提交客户端;应用开发一般是在Windows环境下进行;应用提交一般是在Linux环境下进行。

    来自:帮助中心

    查看更多 →

  • Storm应用开发常用概念

    Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。

    来自:帮助中心

    查看更多 →

  • 准备Storm应用开发环境

    准备Storm应用开发环境 准备Storm应用开发和运行环境 导入并配置Storm样例工程 父主题: Storm开发指南(普通模式)

    来自:帮助中心

    查看更多 →

  • Storm样例程序开发思路

    Storm样例程序开发思路 通过典型场景,用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统,数据源为持续生产随机文本的逻辑单元,业务处理流程如下: 数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。

    来自:帮助中心

    查看更多 →

  • 查看Storm应用调测结果

    1:28443/web”。 选择“集群 > 待操作集群的名称 > 服务 > Storm”,单击进入Storm WebUI。 在Storm UI中单击word-count应用,查看应用程序运行情况,如图1所示。 图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。

    来自:帮助中心

    查看更多 →

  • Storm-Kafka开发指引

    参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\storm-examples”目录下的样例工程文件夹storm-examples并将storm-examples导入到IntelliJ IDEA开发环境,参见准备Storm应用开发环境。 在Linux环境下安装Storm客户端。 集群的Master节

    来自:帮助中心

    查看更多 →

  • Storm-HDFS开发指引

    Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。

    来自:帮助中心

    查看更多 →

  • Storm Flux开发指引

    Storm Flux开发指引 操作场景 本章节只适用于Storm组件使用Flux框架提交和部署拓扑的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 Flux框架是Storm提供的提高拓扑部署易用性的框架。通过Flux框架,用户可以使用yaml文件来定义和部署拓扑,并且最终通过storm

    来自:帮助中心

    查看更多 →

  • 查看Storm应用调测结果

    1:28443/web”。 选择“集群 > 待操作集群的名称 > 服务 > Storm”,单击进入Storm WebUI。 在Storm UI中单击word-count应用,查看应用程序运行情况,如图1所示。 图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。

    来自:帮助中心

    查看更多 →

  • Storm-JDBC开发指引

    Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包,完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt:JdbcInsertBolt和JdbcLookupBolt。其中,JdbcLookupBolt主要负责从数据库

    来自:帮助中心

    查看更多 →

  • Storm-HBase开发指引

    时间而定,步骤如下: 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容: topology.auto-credentials: - org.apache.storm.security.auth.kerberos

    来自:帮助中心

    查看更多 →

  • 从零开始使用Storm

    erberos认证的集群,只有属于“stormadmin”或“storm”的用户可以查看所有拓扑。 storm list 执行以下命令,删除Storm中的拓扑。 storm kill 拓扑名称 父主题: 使用Storm

    来自:帮助中心

    查看更多 →

  • Storm与其他组件的关系

    Storm与其他组件的关系 Storm,提供实时的分布式计算框架,它可以从数据源(如Kafka、TCP连接等)中获得实时消息数据,在实时平台上完成高吞吐、低延迟的实时计算,并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示: 图1 组件关系图 Storm和Streaming的关系

    来自:帮助中心

    查看更多 →

  • 提交Storm拓扑失败排查思路

    提交Storm拓扑失败排查思路 问题背景与现象 使用MRS流式集群,主要安装ZooKeeper、Storm、Kafka。 使用客户端命令,提交Topology失败。 可能原因 Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。

    来自:帮助中心

    查看更多 →

  • 查看Storm应用调测结果

    查看Storm应用调测结果 操作步骤 参考《访问开源组件UI界面》章节,访问Storm Web界面 。 在Storm UI中单击word-count应用,查看应用程序运行情况,如图1所示。 图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。

    来自:帮助中心

    查看更多 →

  • Storm-OBS开发指引

    Storm-OBS开发指引 操作场景 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm已经安装,并正常运行。 将storm-examples导入到Eclipse开发环境,请参见导入并配置Storm样例工程。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了