文档首页 > > 用户指南> Spark作业控制台> Spark作业总览

Spark作业总览

分享
更新时间: 2019/08/30 16:52

Spark作业页面可为用户提供全托管式的Spark计算服务。用户可以通过可视化界面和Restful API提交计算任务,支持session和batch两种作业,一键创建队列,自动伸缩,无需运维。

说明:

Spark队列是一个无状态的队列, 用户创建的逻辑上的队列与实际上的物理队列并不一一对应。因此不推荐用户在内部组件中维持持久化状态, 例如:

  • 队列之中存有HDFS组件,DLI服务推荐用户将持久化的数据写入到OBS服务之中,将部分缓存文件写入到HDFS。
  • 当DLI服务后台升级队列的时候,有可能清空队列中的状态,因此应用层需要检查SparkSQL的元数据是否存在,并执行正常的初始化。

单击图1所示Spark作业区域或其右上角的“创建作业”,可进入“作业编辑器”页面,具体操作请参考Spark作业编辑器

图1 Spark作业介绍

创建Spark作业的步骤请参考图2

图2 创建Spark作业步骤
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区