更新时间:2025-05-27 GMT+08:00
        
          
          
        
      
      
      
      
      
      
      
      
  
      
      
      
        
Spark应用开发常见问题
- Spark常用API介绍
 - structured streaming功能与可靠性介绍
 - 如何添加自定义代码的依赖包
 - 如何处理自动加载的依赖包
 - 运行SparkStreamingKafka样例工程时报“类不存在”问题
 - 在PySpark程序中使用Conda打包Python环境及第三方库
 - SparkSQL UDF功能的权限控制机制
 - 由于Kafka配置的限制,导致Spark Streaming应用运行失败
 - 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出
 - Spark应用名在使用yarn-cluster模式提交时不生效
 - 如何使用IDEA远程调试
 - 如何采用Java命令提交Spark应用
 - 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息
 - Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败
 - 从checkpoint恢复spark应用的限制
 - 第三方jar包跨平台(x86、TaiShan)支持
 - 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录
 - ARM环境python pipeline运行报139错误码
 - Structured Streaming 任务提交方式变更
 - 常见jar包冲突处理方式
 - 在PySpark程序中创建自定义UDF、UDAF和UDTF
 
   父主题: Spark2x开发指南(安全模式)