管理资源
用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。
创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。
约束限制
该功能依赖于OBS服务或MRS HDFS服务。
新建目录(可选)
如果已存在可用的目录,可以不用新建目录。
- 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在数据开发主界面的左侧导航栏,选择 。
- 在资源目录中,单击,弹出“新建目录”页面,配置如表1所示的参数。
- 单击“确定”,新建目录。
新建资源
新建资源前,请确保您已开通OBS服务。
- 在数据开发主界面的左侧导航栏,选择 。
- 单击“新建资源”,弹出“新建资源”页面,配置如表2所示的参数。单击“确定”,新建资源。
表2 资源管理参数 参数
是否必选
说明
名称
是
资源的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~32个字符。
类型
是
选择资源的文件类型:
- jar:用户jar文件。
- pyFile:用户Python文件。
- file:用户文件。
- archive:用户AI模型文件。支持的文件后缀名为:zip、tgz、tar.gz、tar、jar。
资源位置
是
选择资源所在的位置,当前支持OBS和HDFS两种资源存储位置。HDFS当前只支持MRS Spark、MRS Flink Job、MRS MapReduce节点。
文件路径
是
当“资源位置”选择OBS时,文件路径选择OBS文件路径。
当“资源位置”选择HDFS时,文件路径选择MRS集群名称。
依赖包
否
当前只支持DLI Spark节点。
选择已上传到OBS中的依赖Jar包。“类型”为“jar”或“pyFile”时,配置该参数。
选择目录
是
选择资源所属的目录,默认为根目录。
描述
否
资源的描述信息。
编辑资源
资源新建完成后,用户可以根据需求修改资源的参数。
- 在数据开发主界面的左侧导航栏,选择 。
- 在资源的“操作”列,单击“编辑”,弹出“编辑资源”页面,参考表2修改资源的参数。
- 单击“确定”,保存修改。
删除资源
当用户不需要使用某个资源时,可以删除该资源。
删除资源前,请确保该资源未被作业使用。
删除资源的时候,如果资源被作业引用,单击删除时,会自动弹出“删除资源”的界面,单击“确定”,会自动弹出“引用列表”的界面,可以查看资源被哪些作业所引用,单击“查看”可跳转到作业页面进行查看详情。
- 在数据开发主界面的左侧导航栏,选择 。
- 在资源的“操作”列,单击“删除”,弹出“删除资源”页面。
- 单击“确定”,删除资源。
导入资源
当用户想要导入某个资源时,可以参考如下操作导入该资源。
- 在数据开发主界面的左侧导航栏,选择 。
- 在资源目录中,单击,选择“导入资源”,弹出“导入资源”页面。
- 选择已上传至OBS中的资源文件,然后单击“下一步”,导入完成后,单击“关闭”完成资源的导入。
导出资源
当用户想要导出某个资源到本地时,可以参考如下操作导出该资源。
- 在数据开发主界面的左侧导航栏,选择 。
- 在资源目录中,单击,选择“导出资源”,系统开始下载资源到本地。
查看资源引用
当用户想要查看某个资源被引用的情况时,可以参考如下操作查看引用。
- 在数据开发主界面的左侧导航栏,选择 。
- 在资源目录中,右键单击对应的资源名,选择“查看引用”,弹出“引用列表”窗口。
- 在引用列表窗口,可以查看该资源被引用的情况。
图1 引用列表