更新时间:2024-03-25 GMT+08:00

工程配置

操作场景

DLI作业在创建过程中会选择OBS桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。

本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。

配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。

并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》

使用须知

  • 该OBS桶用于存储DLI服务使用过程中产生的临时数据,如:作业日志、作业结果。
  • 请勿将该OBS桶用作其它用途,避免出现作业结果混乱等问题。
  • OBS桶需要由用户主账户统一设置及修改,子用户无权限。
  • 不配置DLI作业桶无法查看作业日志。
  • 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。
  • DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。

操作步骤

  1. 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。
  2. 在“工程配置”页面,选择“DLI作业桶”,单击配置桶信息。
    图1 工程配置
  3. 单击打开桶列表。
  4. 选择用于存放DLI作业临时数据的桶,并单击“确定”。
    完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。
    图2 设置DLI作业桶