- 华为云芯片EDA云服务解决方案
- 映云科技车联网数据基础设施解决方案
- 美云智数产品企划数字化解决方案
- 天心天思数字化工厂解决方案
- 数码大方CAXA研发制造一体化解决方案
- 用友装备制造企业数字化解决方案
-
亿信华辰数据中台解决方案实践
- 方案概述
- 资源和成本规划
-
实施步骤
- EsMDM主数据管理平台
- 睿治数据治理平台
- ABI一站式数据分析平台
- 附录
- 修订记录
- 万腾科技制造运营管理MOM解决方案实践
- 华天软件3D+IM智能制造解决方案实践
- 金蝶云星空机械装备数字化解决方案实践
- 黑湖智造云端制造协同平台解决方案
- 依柯力新能源汽车MOM解决方案
- 赛瀚德工业云生产协同解决方案
- 中国汽研凯瑞机器人数字孪生解决方案
- 华磊迅拓MOMpro企业智造运营管理解决方案
- 链宇技术制造业数字化订单管理解决方案
- 万物智联智造云解决方案
- 华为云区域工业互联网公共技术服务平台
- 汉鑫MOM制造运营管理系统解决方案
- 汇智MOM解决方案
- 悠桦林智能供应链计划与排程解决方案
- 赛意制造运营管理MOM解决方案
- 华为云车联网数据应用解决方案
- 希维科技制造业数字化质量管理解决方案
- 造物数科工业云小站解决方案
- 环思纺织服装数字供应链解决方案
- 蜂巢工软工业云小站解决方案
- 能科科技数字主线解决方案
- 华龙讯达木星工业自动化平台智能制造解决方案
- 添翼D2M制造运营管理系统解决方案
- 鼎捷机械行业经营管理数字化解决方案
- 大腾智能工业设计与服务一站式解决方案
- 造物数科电子电路云工厂数字化解决方案
- 摩尔元数电子汽配装备制造执行系统解决方案
- 海之晨工业质检人工智能解决方案
- 中望机械和结构设计数字化解决方案
- 文档下载
- 通用参考
展开导读
链接复制成功!
Standalone模式spark配置
数据工厂应用内配置

参数配置中spark.executor.extraClassPath指定spark上需要额外加载的jar包的路径,jar包需要放在spark所在服务器上。如果spark是集群环境,则每个节点都需要放入jar包,且路径相同。
Spark所需jar包
所需jar包在数据工厂4.4.1war包中lib目录下,复制即可。
jar包 |
必须 |
说明 |
---|---|---|
ecore-1.4.1-SNAPSHOT.jar |
是 |
- |
edi-core-4.4.1-SNAPSHOT.jar |
是 |
- |
edi-designer-api-4.4.1-SNAPSHOT.jar |
是 |
- |
edi-engine-spark-4.4.1-SNAPSHOT.jar |
是 |
- |
edi-widget-base-4.4.1-SNAPSHOT.jar |
是 |
- |
edi-widget-hadoop-4.4.1-SNAPSHOT.jar |
是 |
- |
eutil-1.3.1-SNAPSHOT.jar |
是 |
- |
edi-edatasource-api-4.4.1-SNAPSHOT.jar |
是 |
- |
ejdbc-1.3.1-SNAPSHOT.jar |
是 |
- |
esql-1.2.3-SNAPSHOT.jar |
否 |
如果输出组件用到实时文件输出组件,则要加上此依赖。 |
guava-20.0.jar |
是 |
- |
kafka-clients-2.0.0.jar |
否 |
如果输出组件用到kafka生产组件,则要加上此依赖。 |
rxjava-1.1.6.jar |
是 |
- |
spark-sql-kafka-0-10_2.11-2.4.0.jar |
否 |
如果输出组件用到kafka生产组件,则要加上此依赖。 |
数据库驱动 |
否 |
根据实际需要确定,如果你的实时任务中使用了数据库,那么就需要添加对应数据库的驱动程序包 如使用了oracle和mysql,那么就需要添加oracle和mysql的jdbc驱动。如果没使用数据库则不需要 |