mrs
- 开发指南(适用于2.x及之前)
- 简介
- MapReduce服务样例工程构建方式
- HBase应用开发
- Hive应用开发
- MapReduce应用开发
- HDFS应用开发
- Spark应用开发
- 概述
- 环境准备
- 开发程序
- 调测程序
- 调优程序
- Spark接口
- FAQ
- 如何添加自定义代码的依赖包
- 如何处理自动加载的依赖包
- 运行SparkStreamingKafka样例工程时报“类不存在”问题
- 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出
- Spark应用名在使用yarn-cluster模式提交时不生效
- 如何采用Java命令提交Spark应用
- SparkSQL UDF功能的权限控制机制
- 由于kafka配置的限制,导致Spark Streaming应用运行失败
- 如何使用IDEA远程调试
- 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息
- Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败
- Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常
- Spark任务读取HBase报错“had a not serializable result”
- 开发规范
- Storm应用开发
- Kafka应用开发
- Presto应用开发
- OpenTSDB应用开发
- Flink应用开发
- Impala应用开发
- Alluxio应用开发
- 附录
规则
链接复制成功!
更新时间:2020/12/15 GMT+08:00
不允许将“storm.yaml”打包到应用程序jar包中。
若将“storm.yaml”打包到应用程序jar包中,应用提交后会导致应用程序使用的“storm.yaml”与集群中的“storm.yaml”冲突,造成应用程序不可用。
打包完成后,可使用解压工具查看jar包根目录下是否存在该文件,若存在则删除。
不允许将log4j相关jar包打包到应用程序jar包中。
若将log4j相关jar包打包到应用程序jar包中,应用提交后会导致系统中的log4j与应用程序中的log4j冲突,造成应用程序不可用。
打包前,需要排查jar包工程中是否存在log4j相关jar包,若存在则删除后再重新打包。
不允许将“storm-core-X.X.X.jar”打包到应用程序jar包中。
若将“storm-core-X.X.X.jar”打包到应用程序jar包中,应用提交后会导致系统中的“storm-core-0.10.0.jar”与应用程序中的“storm-core-X.X.X.jar”冲突,造成应用程序不可用。
打包前,需要排查jar包工程中是否存在“storm-core-X.X.X.jar”,若存在则删除后再重新打包。
使用远程提交方式提交拓扑时,应保证所打jar包和本地工程代码的一致性。
若提交的应用程序jar包与本地工程代码不一致,将导致提交的应用在运行期间报错。
父主题: 开发规范
