mrs
- 开发指南（适用于2.x及之前）
- 简介
- MapReduce服务样例工程构建方式
- HBase应用开发
- Hive应用开发
- MapReduce应用开发
- HDFS应用开发
- Spark应用开发
- 概述
- 环境准备
- 开发程序
- 调测程序
- 调优程序
- Spark接口
- FAQ
- 如何添加自定义代码的依赖包
- 如何处理自动加载的依赖包
- 运行SparkStreamingKafka样例工程时报“类不存在”问题
- 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
- Spark应用名在使用yarn-cluster模式提交时不生效
- 如何采用Java命令提交Spark应用
- SparkSQL UDF功能的权限控制机制
- 由于kafka配置的限制，导致Spark Streaming应用运行失败
- 如何使用IDEA远程调试
- 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息
- Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败
- Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常
- Spark任务读取HBase报错“had a not serializable result”
- 开发规范
- Storm应用开发
- Kafka应用开发
- Presto应用开发
- OpenTSDB应用开发
- Flink应用开发
- Impala应用开发
- Alluxio应用开发
- 附录
开发流程
链接复制成功！
更新时间：2020/12/15 GMT+08:00
阶段 |
说明 |
参考文档 |
|---|---|---|
了解基本概念 |
在开始开发应用前，需要了解HDFS的基本概念。 |
|
准备开发环境 |
使用Eclipse工具，请根据指导完成开发环境配置。 |
|
准备运行环境 |
HDFS的运行环境即HDFS客户端，请根据指导完成客户端的安装和配置。 |
|
下载并导入样例工程 |
HDFS提供了不同场景下的样例程序，可以导入样例工程进行程序学习。 |
|
根据场景开发工程 |
提供样例工程，帮助用户快速了解HDFS各部件的编程接口。 |
|
编译并运行程序 |
指导用户将开发好的程序编译并提交运行。 |
Linux：安装客户端时编译并运行程序 |
查看程序运行结果 |
程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 |
Linux：查看调测结果 |
父主题： 概述
