更新时间:2024-11-07 GMT+08:00

程序包管理概述

在执行DLI作业前需要将UDF Jar包或Jar作业程序包上传到云平台进行统一的管理和维护。

有以下两种方式管理程序包:

  • 上传至OBS管理程序包:提前将对应的jar包上传至OBS桶中,在作业配置时选择对应的OBS路径。
  • 上传至DLI管理程序包:提前将对应的jar包上传至OBS桶中,并在DLI管理控制台的数据管理>程序包管理中创建程序包,在作业配置时选择对应的DLI程序包。

DLI控制台提供的程序包管理功能可以帮助您管理多种类型的Jar作业程序包,本节操作介绍在DLI管理控制台上传并管理程序包的方式。

  • Flink1.15及以上版本在配置作业时仅支持选择OBS中的程序包,不支持读取DLI程序包。
  • Spark3.3.1及以上版本在配置作业时推荐直接选择OBS中的程序包。
  • 打包Spark或Flink jar作业jar包时,请不要上传平台已有的依赖包,以免与平台内置依赖包冲突。内置依赖包信息请参考DLI内置依赖包

约束与限制

  • 程序包支持删除,但不支持删除程序包组。
  • 支持上传的程序包类型:
    • JAR:用户jar文件。
    • PyFile:用户Python文件。
    • File:用户文件。
    • ModelFile:用户AI模型文件。

程序包管理页面

表1 程序包管理参数

参数

参数说明

分组名称

程序包所属分组的名称。如果不分组,则显示“--”。

名称

程序包名称。

所有者

上传程序包的用户名称。

包类型

程序包的类型。支持的包类型如下:

  • JAR:用户jar文件。
  • PyFile:用户Python文件。
  • File:用户文件。
  • ModelFile:用户AI模型文件。

状态

创建程序包的状态。

  • 上传中(Uploading):表示程序包正在上传。
  • 已成功(Finished):表示程序包已经上传。
  • 已失败(Failed):表示程序包上传失败。

创建时间

创建程序包的时间。

更新时间

更新程序包的时间。

操作

权限管理:对程序包用户进行权限管理。

删除:删除程序包。

更多:

  • 修改所有者:修改程序包用户。
  • 标签:添加或编辑程序包标签。