配置DLI作业桶
使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。
本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。
操作前准备
配置前,请先购买OBS桶或并行文件系统。
大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。
并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。
使用须知
- 请勿将该OBS桶用作其它用途,避免出现作业结果混乱等问题。
- OBS桶需要由用户主账户统一设置及修改,子用户无权限。
- 不配置DLI作业桶无法查看作业结果和作业日志。
- 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。
- DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。
- 如果您的SQL队列已开启作业结果保存至DLI作业桶,系统会在运行SQL作业时把结果直接写到您指定的 OBS 桶里,请在提交作业前完成以下准备工作:
- 请在提交SQL作业前配置DLI作业桶信息,否则SQL作业可能会提交失败。
- 请确保执行SQL作业的用户具备该DLI作业桶的读写权限,否则无法正常保存和读取作业结果。