HDFS连接 介绍 通过HDFS连接，可以对 MRS 、 FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持 CS V、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":

查看更多 →

MRS_Services_ClientConfig_ConfigFiles > HDFS > config”路径中得到“core-site.xml”、“hdfs-site.xml”文件。 生成MRS HDFS配置文件。 将上述获取到的文件放到一个新的目录下，并打包成zip文件，所有文件位于zip文件的根目录下。

查看更多 →

使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略（NodeLabel）

查看更多 →

将jar包放在1中指定的目录下。 在Storm客户端安装目录“Storm/storm-1.2.1/bin”下执行打包命令，将上述jar包打成一个完整的业务jar包放入指定目录/opt/jartarget（可为任意空目录）。执行sh storm-jartool.sh /opt/jarsource/

查看更多 →

Windows下打包Storm业务 操作场景 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。 前提条件 已执行打包Storm样例工程应用。

查看更多 →

Storm开发指南 Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Storm应用 Storm应用开发常见问题

查看更多 →

骤） kinit 组件业务用户 执行命令进行客户端操作。 例如执行以下命令： cql storm 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。 父主题： 使用Storm

查看更多 →

Storm应用开发流程介绍 本文档主要基于Java API进行Storm拓扑的开发。 开发流程如图1所示。 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 了解基本概念 在开始开发应用前，需要了解Storm的基本概念。 准备开发环境 推荐使用Eclipse工具

查看更多 →

将jar包放在1中指定的目录下。 在Storm客户端安装目录“Storm/storm-1.2.1/bin”下执行打包命令，将上述jar包打成一个完整的业务jar包放入指定目录/opt/jartarget（可为任意空目录）。执行sh storm-jartool.sh /opt/jarsource/

查看更多 →

Storm性能调优 操作场景 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数，请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。

查看更多 →

生成Storm应用Jar包 操作场景 通过命令行生成示例代码的jar包。 操作步骤 在Storm示例代码根目录执行如下命令打包： mvn package 执行成功后，将会在target目录生成storm-examples-1.0.jar。 父主题： 调测Storm应用

查看更多 →

> 待操作的集群名称 > 服务 ”。 登录Storm WebUI： MRS 3.x之前版本：选择“Storm”，在“Storm 概述”的“Storm Web UI”，单击任意一个UI链接，打开Storm的WebUI。 第一次访问Storm WebUI，需要在浏览器中添加站点信任以继续打开页面。

查看更多 →

Windows下打包Storm业务 操作场景 Storm支持在Windows环境下打包。 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。

查看更多 →

迁移Storm业务至Flink 概述 完整迁移Storm业务 嵌入式迁移Storm业务 迁移Storm对接的外部安全组件业务 父主题： 使用Storm

查看更多 →

件权限插件对组件资源的访问设置细粒度的安全访问策略。 目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm。 通过Ranger配置用户权限策略 使用Ranger管理员用户rangeradmin登录Range

查看更多 →

HDFS Colocation 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

查询操作。 storm Storm的普通用户组，属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。 stormadmin Storm的管理员用户组，属于该组的用户拥有提交拓扑和管理所有拓扑的权限。 supergroup 这个用户组内的用户具有HBase，HDFS和Yarn的管理员权限，并且可以使用Hive。

查看更多 →

使用HDFS 修改RPC端口后HDFS NameNode实例都变为备状态 通过公网IP连接使用HDFS客户端报错 使用Python远程连接HDFS的端口失败 HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied”

查看更多 →

HDFS连接 介绍 通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values":

查看更多 →

使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略（NodeLabel）

查看更多 →

存储策略定义在Hue的WebUI界面上分为两大类： 静态存储策略 当前存储策略 根据HDFS的文档访问频率、重要性，为HDFS目录指定存储策略，例如ONE_SSD、ALL_SSD等，此目录下的文件可被迁移到相应存储介质上保存。 动态存储策略 为HDFS目录设置规则，系统可以根据文件的最近访问时间、最近修改时

查看更多 →