文档首页 > > 用户指南> 入门操作指导> 提交Spark作业

提交Spark作业

分享
更新时间: 2020/08/03 GMT+08:00

使用DLI提交Spark作业进行实时计算。基本流程如下:

步骤1:登录华为云

步骤2:上传数据至OBS

步骤3:进入DLI Spark作业编辑页面

步骤4:创建队列

步骤5:创建程序包

步骤6:提交Spark作业

步骤1:登录华为云

使用DLI服务,首先要登录华为云。

  1. 打开华为云首页。
  2. 在登录页面输入“账户名”“密码”,单击“登录”

步骤2:上传数据至OBS

提交Spark作业之前,需要在OBS中上传数据文件。

  1. 在华为云页面的上方导航栏中,选择“产品”
  2. 在基础服务列表中,单击“存储”中的“对象存储服务OBS”。
  3. 在OBS服务产品页,单击“管理控制台”,进入OBS管理控制台页面。
  4. 创建一个桶,桶名全局唯一,这里以桶名“obs1”为例。
    1. 单击“创建桶”
    2. 进入“创建桶”页面,选择“区域”,输入“桶名称”。

      创建OBS桶时,需要选择与DLI管理控制台相同的区域,不可跨区域执行操作。

    3. 单击“立即创建”。
  5. 单击所建桶“obs1”,进入“概览”页面。
  6. 单击左侧列表中的“对象”,选择“上传文件”,将需要上传的文件,例如“spark-examples.jar”上传到指定目录,单击“确定”

    文件上传成功后,待分析的文件路径为“obs://obs1/spark-examples.jar”

步骤3:进入DLI Spark作业编辑页面

使用DLI提交Spark作业,需要先进入Spark作业编辑页面。

  1. 在华为云页面的上方导航栏,选择“产品”
  2. “EI企业智能”列表中,选择“大数据”>“大数据计算”中的“数据湖探索 DLI”
  3. 在DLI服务产品页,单击“进入控制台”,进入DLI管理控制台页面。第一次进入数据湖探索管理控制台需要进行授权,以获取访问OBS的权限。
  4. 单击总览页面“Spark作业”右侧的“创建作业”,进入创建Spark作业页面。

步骤4:创建队列

第一次提交Spark作业,需要先创建队列,例如创建名为“test”的队列。创建队列的详细介绍请参考创建队列

步骤5:创建程序包

提交Spark作业之前需要创建程序包,例如“spark-examples.jar”。详细介绍请参考创建程序包

步骤6:提交Spark作业

  1. 在Spark作业编辑页面中,输入相关参数,具体请参考界面说明中关于Spark作业编辑页面的说明。
  2. 单击Spark作业编辑页面右上方“执行”,阅读并同意隐私协议,单击“确定”。提交作业,页面显示“作业提交成功”。
  3. (可选)可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。

    在DLI管理控制台第一次单击“执行”操作时,需要阅读隐私协议,同意确定后,后续操作将不会再提示。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问