mrs
- 开发指南(适用于2.x及之前)
- 简介
- MapReduce服务样例工程构建方式
- HBase应用开发
- Hive应用开发
- MapReduce应用开发
- HDFS应用开发
- Spark应用开发
- 概述
- 环境准备
- 开发程序
- 调测程序
- 调优程序
- Spark接口
- FAQ
- 如何添加自定义代码的依赖包
- 如何处理自动加载的依赖包
- 运行SparkStreamingKafka样例工程时报“类不存在”问题
- 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出
- Spark应用名在使用yarn-cluster模式提交时不生效
- 如何采用Java命令提交Spark应用
- SparkSQL UDF功能的权限控制机制
- 由于kafka配置的限制,导致Spark Streaming应用运行失败
- 如何使用IDEA远程调试
- 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息
- Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败
- Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常
- Spark任务读取HBase报错“had a not serializable result”
- 开发规范
- Storm应用开发
- Kafka应用开发
- Presto应用开发
- OpenTSDB应用开发
- Flink应用开发
- Impala应用开发
- Alluxio应用开发
- 附录
获取并导入样例工程
链接复制成功!
更新时间:2020/12/15 GMT+08:00
操作场景
HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。
以下操作步骤以导入HDFS样例代码为例。
操作步骤
- 参照样例工程获取地址,下载样例工程到本地。
- 导入样例工程到Eclipse开发环境。
- 第一种方法:打开Eclipse,选择“File > New > Java Project”。
- 去掉对“Use default location”的勾选,单击“Browse”。
显示“浏览文件夹”对话框。
- 选择样例工程文件夹hdfs-examples,单击“确定”。
- 在“New Java Project”窗口单击“Finish”。
- 第二种方法:打开Eclipse,依次选择“File > Import… > Existing maven Projects into Workspace > Next”,在下一个页面单击“Browse”,显示“浏览文件夹”对话框。
- 选择样例工程文件夹“hdfs-examples”,单击“确定”。
- 在“Import”窗口单击“Finish”。
- 设置Eclipse的文本文件编码格式,解决乱码显示问题。
- 在Eclipse的菜单栏中,选择“Window > Preferences”。
- 在左边导航上选择“General > Workspace”,在“Text file encoding”区域,选中“Other”,并设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。
父主题: 环境准备
