Storm开发指南 Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Storm应用 Storm应用开发常见问题

查看更多 →

若业务需要访问外部组件，其所依赖的配置文件请参考相关开发指引，获取到配置文件后将配置文件放在1中指定的目录下。 若业务需要访问外部组件，其所依赖的jar包请参考相关开发指引，获取到jar包后将jar包放在1中指定的目录下。 在Storm客户端安装目录“Storm/storm-1.2.1/bin”下执行打包命令，

查看更多 →

设置各个节点上的Supervisor角色实例（包含其启动并管理的Worker进程）所使用的物理CPU百分比。根据Supervisor所在节点业务量需求，适当调整参数值，优化CPU使用率。 JVM调优 当应用程序需要处理大量数据从而占用更多的内存时，存在worker内存大于2GB的情况，推荐使用G1垃圾回收算法。

查看更多 →

迁移Storm对接的外部安全组件业务 迁移Storm对接HDFS和HBase组件的业务 如果Storm的业务使用的storm-hdfs或者storm-hbase插件包进行的对接，那么在按照完整迁移Storm业务进行迁移时，需要指定特定安全参数，如下： //初始化Storm的Config

查看更多 →

Standard自动学习 ModelArts通过机器学习的方式帮助不具备算法开发能力的业务开发者实现算法的开发，基于迁移学习、自动神经网络架构搜索实现模型自动生成，通过算法实现模型训练的参数自动化选择和模型自动调优的自动学习功能，让零AI基础的业务开发者可快速完成模型的训练和部署。 M

查看更多 →

Standard自动学习 功能咨询 准备数据 创建项目 数据标注 模型训练 部署上线

查看更多 →

横向联邦学习场景 TICS 从UCI网站上获取了乳腺癌数据集Breast，进行横向联邦学习实验场景的功能介绍。 乳腺癌数据集：基于医学图像中提取的若干特征，判断癌症是良性还是恶性，数据来源于公开数据Breast Cancer Wisconsin (Diagnostic)。 场景描述

查看更多 →

学习各地管局政策 各地区管局备案政策不定期更新，本文档内容供您参考，具体规则请以各管局要求为准。 各地区管局备案要求 华北各省管局要求 华东各省管局要求 华南各省管局要求 华中各省管局要求 西北各省管局要求 西南各省管局要求 东北各省管局要求

查看更多 →

各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架： DeepSpeed和Accelerate都是针对深度学习训练加速的工具，但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架，主要针对大规模模型和大规模数据集的训练。De

查看更多 →

创建联邦学习工程 创建工程 编辑代码（简易编辑器） 编辑代码（WebIDE） 模型训练 父主题： 模型训练

查看更多 →

Standard自动学习 使用ModelArts Standard自动学习实现口罩检测 使用ModelArts Standard自动学习实现垃圾分类

查看更多 →

微认证课程学习的形式是什么样的？ 微认证课程学习分为在线视频学习和在线实验操作。 父主题： 微认证课程学习常见问题

查看更多 →

执行以下命令，查看Storm中的拓扑。启用Kerberos认证的集群，只有属于“stormadmin”或“storm”的用户可以查看所有拓扑。 storm list 执行以下命令，删除Storm中的拓扑。 storm kill 拓扑名称 父主题： 使用Storm

查看更多 →

在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元组和时间的双重属性。流上的任何一个元素，都可以用Element<tuple

查看更多 →

准备Storm应用开发环境 准备Storm应用开发和运行环境 导入并配置Storm样例工程 父主题： Storm开发指南（普通模式）

查看更多 →

图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。 Spouts中统计了spout算子从启动到现在发送的消息总量。Bolts中统计了Count算子和split算子的发送消息总量，如图2所示。 图2 Storm应用程序算子发送数据总量

查看更多 →

写入数据的功能。 本章节代码样例基于Kafka新API，对应IntelliJ IDEA工程中com.huawei.storm.example.kafka.NewKafkaTopology.java。 本章节只适用于 MRS 产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。

查看更多 →

createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包，请参见打包Strom样例工程应用。 将1导出的本地Jar包，4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包，请参见打包Strom应用业务。

查看更多 →

程应用。 将4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包，请参见打包Strom应用业务。 将开发好的yaml文件及相关的properties文件复制至storm客户端所在主机的任意目录下，如“/opt”。 执行命令提交拓扑。 storm jar /opt/jartarget/source

查看更多 →

境下进行。 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7以上版本。 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑，服务端只支持TLS 1.1和TLS 1.2加密协议，IBM

查看更多 →

图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。 Spouts中统计了spout算子从启动到现在发送的消息总量。Bolts中统计了Count算子和split算子的发送消息总量，如图2所示。 图2 Storm应用程序算子发送数据总量

查看更多 →