Storm处理系统 更多内容
  • 应用开发简介

    目标读者 本文档专供需要进行Storm二次开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。

    来自:帮助中心

    查看更多 →

  • Storm

    Storm Storm基本原理 Storm与其他组件的关系 Storm开源增强特性 父主题: 组件介绍

    来自:帮助中心

    查看更多 →

  • 应用开发简介

    应用开发简介 目标读者 本文档提供给需要Storm二次开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。

    来自:帮助中心

    查看更多 →

  • 应用开发简介

    目标读者 本文档专供需要进行Storm二次开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。

    来自:帮助中心

    查看更多 →

  • 使用Storm

    使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优

    来自:帮助中心

    查看更多 →

  • 使用Storm

    使用Storm Storm WebUI页面中events超链接地址无效 提交Storm拓扑失败排查思路 提交Storm拓扑失败,提示Failed to check principle for keytab 提交Storm拓扑后Worker日志为空 提交Storm拓扑后Worker运行异常,日志提示Failed

    来自:帮助中心

    查看更多 →

  • Storm日志介绍

    Storm日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径:Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”(运行日志),“/var/log/Bigdata/audit/storm/角色名”(审计日志)。 Nimb

    来自:帮助中心

    查看更多 →

  • Storm应用开发

    Storm应用开发 概述 Linux客户端环境准备 Windows开发环境准备 开发程序 运行应用 更多信息 开发规范

    来自:帮助中心

    查看更多 →

  • Storm常用参数

    thrift.threads 设置主用Nimbus对外提供服务时的最大连接线程数。当Storm集群规模较大,Supervisor实例数量较多时,需要增加线程数。 512 父主题: 使用Storm

    来自:帮助中心

    查看更多 →

  • 管理Storm拓扑

    管理Storm拓扑 操作场景 用户可以使用Storm的WebUI管理拓扑。“storm”用户组的用户只能管理由自己提交的拓扑任务,“stormadmin”用户组的用户可以管理所有拓扑任务。 操作步骤 访问Storm的WebUI,请参考访问Storm的WebUI。 在“Topology

    来自:帮助中心

    查看更多 →

  • 查看Storm拓扑日志

    查看Storm拓扑日志 操作场景 用户需要查看Storm拓扑在worker进程中的执行情况时,需要查看worker中关于拓扑的日志。如果需要查询拓扑在运行时数据处理的日志,提交拓扑并启用“Debug”功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景,且用户需要是拓

    来自:帮助中心

    查看更多 →

  • Storm开源增强特性

    务提交到Storm平台开启实时数据的接收、处理及结果输出;并可以在合适的时候中止业务。 高可用性 Nimbus HA机制,避免了开源Storm集群中Nimbus出现单点故障而导致集群无法提供Topology的新增及管理操作的问题,增强了集群可用性。 父主题: Storm

    来自:帮助中心

    查看更多 →

  • 完整迁移Storm业务

    完整迁移Storm业务 操作场景 该任务指导用户通过Storm业务完整迁移的方式转换并运行完整的由Storm API开发的Storm拓扑。 操作步骤 打开Storm业务工程,修改工程的pom文件,增加“flink-storm” 、“flink-core”和“flink-streaming-java_2

    来自:帮助中心

    查看更多 →

  • Storm性能调优

    Storm性能调优 操作场景 通过调整Storm参数设置,可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数,请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。

    来自:帮助中心

    查看更多 →

  • 访问Storm的WebUI

    > 待操作的集群名称 > 服务 ”。 登录Storm WebUI: MRS 3.x之前版本:选择“Storm”,在“Storm 概述”的“Storm Web UI”,单击任意一个UI链接,打开Storm的WebUI。 第一次访问Storm WebUI,需要在浏览器中添加站点信任以继续打开页面。

    来自:帮助中心

    查看更多 →

  • Storm基本原理

    易于调试:CQL提供了详细的异常码说明,降低了用户对各种错误的处理难度。 关于Storm的架构和详细原理介绍,请参见:https://storm.apache.org/。 Storm原理 基本概念 表1 概念介绍 概念 说明 Tuple Storm核心数据结构,是消息传递的基本单元,不可变Key-Val

    来自:帮助中心

    查看更多 →

  • 支持的大数据平台简介

    本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。 MRS与OBS

    来自:帮助中心

    查看更多 →

  • 迁移Storm业务至Flink

    迁移Storm业务至Flink 概述 完整迁移Storm业务 嵌入式迁移Storm业务 迁移Storm对接的外部安全组件业务 父主题: 使用Storm

    来自:帮助中心

    查看更多 →

  • 使用Storm客户端

    骤) kinit 组件业务用户 执行命令进行客户端操作。 例如执行以下命令: cql storm 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。 父主题: 使用Storm

    来自:帮助中心

    查看更多 →

  • 使用Storm客户端

    使用Storm客户端 操作场景 该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”

    来自:帮助中心

    查看更多 →

  • 配置Storm业务用户密码策略

    常运行。MRS集群管理员需要根据企业安全要求,为Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略,在修改业务用户密码以后,可以删除旧的拓扑并重新提交,使拓扑继续运行。 对系统的影响 为Storm业务用户配置独立的密码策略后,此用户将不受Manager界面上的“密码策略”配置影响。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了