- 开发指南
- 简介
- MapReduce服务样例工程构建方式
- HBase应用开发
- Hive应用开发
- MapReduce应用开发
- HDFS应用开发
- Spark应用开发
- 概述
- 环境准备
- 开发程序
- 调测程序
- 调优程序
- Spark接口
- FAQ
- 如何添加自定义代码的依赖包
- 如何处理自动加载的依赖包
- 运行SparkStreamingKafka样例工程时报“类不存在”问题
- 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
- Spark应用名在使用yarn-cluster模式提交时不生效
- 如何采用Java命令提交Spark应用
- SparkSQL UDF功能的权限控制机制
- 由于kafka配置的限制，导致Spark Streaming应用运行失败
- 如何使用IDEA远程调试
- 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息
- Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败
- Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常
- 开发规范
- Storm应用开发
- Kafka应用开发
- Presto应用开发
- OpenTSDB应用开发
- Flink应用开发
- 修订记录
简介
链接复制成功！
更新时间：
2019/08/13 GMT+08:00
概述
本文档提供Hadoop、Spark、HBase、Hive、MapReduce、Kafka、Storm大数据组件的应用开发的流程和操作指导，以及各个大数据组件的样例工程，同时提供了常见的问题解答和开发规范。
开发准备
- 您已经开通了华为云MapReduce服务。
- 您已经对Hadoop、Spark、HBase、Hive、MapReduce、Kafka、Storm大数据组件具备一定的认识。
- 您已经对Java语法具备一定的认识。
- 您已经对华为云弹性云服务器的使用方式和MapReduce服务开发组件有一定的了解。
- 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。
相关文档
相关产品
