Standalone模式spark配置
数据工厂应用内配置
![](https://support.huaweicloud.com/edms-mnft/zh-cn_image_0000001679572022.png)
参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径,jar包需要放在spark所在服务器上。如果spark是集群环境,则每个节点都需要放入jar包,且路径相同。
Spark所需jar包
所需jar包在数据工厂4.4.1war包中lib目录下,复制即可。
jar包 |
必须 |
说明 |
---|---|---|
ecore-1.4.1-SNAPSHOT.jar |
是 |
- |
edi-core-4.4.1-SNAPSHOT.jar |
是 |
- |
edi-designer-api-4.4.1-SNAPSHOT.jar |
是 |
- |
edi-engine-spark-4.4.1-SNAPSHOT.jar |
是 |
- |
edi-widget-base-4.4.1-SNAPSHOT.jar |
是 |
- |
edi-widget-hadoop-4.4.1-SNAPSHOT.jar |
是 |
- |
eutil-1.3.1-SNAPSHOT.jar |
是 |
- |
edi-edatasource-api-4.4.1-SNAPSHOT.jar |
是 |
- |
ejdbc-1.3.1-SNAPSHOT.jar |
是 |
- |
esql-1.2.3-SNAPSHOT.jar |
否 |
如果输出组件用到实时文件输出组件,则要加上此依赖。 |
guava-20.0.jar |
是 |
- |
kafka-clients-2.0.0.jar |
否 |
如果输出组件用到kafka生产组件,则要加上此依赖。 |
rxjava-1.1.6.jar |
是 |
- |
spark-sql-kafka-0-10_2.11-2.4.0.jar |
否 |
如果输出组件用到kafka生产组件,则要加上此依赖。 |
数据库驱动 |
否 |
根据实际需要确定,如果你的实时任务中使用了数据库,那么就需要添加对应数据库的驱动程序包 如使用了oracle和mysql,那么就需要添加oracle和mysql的jdbc驱动。如果没使用数据库则不需要 |