更新时间:2021-12-17 GMT+08:00
分享

数据处理

  1. 在数据服务首页左侧导航,选择首页>我的数据集
  2. “我的数据集”页签单击新增的数据集。
  3. 单击应用数据集 > 数据处理
  4. 进入“新增作业”界面,如图1所示。

    参数说明如下所示:

    • 作业名称:自定义输入。
    • 开发环境:选择通用编辑器。
    • 作业位置:存储作业脚本的数据湖OBS桶路径。从下拉框中选择,自动带出存储路径,系统自定义,不支持修改。
    • 作业描述:作业描述信息。
    • 数据输出:运行参数中的output_path。
    • 运行参数: Python脚本中设置的运行参数,可以在这里赋值。单击“添加运行参数”,可输入多组运行参数。
      图1 新增作业

  5. 单击“下一步”。进入作业编辑界面。
  6. 在作业编辑界面,单击左侧的“软件目录”页签,展示代码文件存放目录。
  7. 单击左侧目录中的“main.py”、“pySparkMain.py”文件,界面右侧展示文件内容,或者单击上传按钮,自行上传编译好的Scala或者JAVA代码jar包。

    查看已有样例代码内容。

  8. 在左侧的“配置信息”框中,在“启动文件”后单击“选择”
  9. 在弹出的“选择启动文件”对话框中,选择要启动的文件,单击“确认”
  10. 在作业编辑界面,单击右上角的“提交运行”,进入“作业运行记录”界面。

    作业运行成功后,界面展示如图2所示。

    如果选择“保存配置”,则不会提交运行。已保存的运行参数或已运行的作业,可以集成到数据服务的治理任务流程中。

    图2 作业运行记录

相关文档