提交SQL作业
使用DLI提交SQL作业查询数据。基本流程如下:
如下操作以查询OBS的数据为例,DLI的数据查询操作类同。
步骤2:上传数据至OBS
DLI可以查询存储在OBS中的数据,查询数据前,需要将数据文件上传至OBS中。
- 在服务列表中,单击“存储”中的“对象存储服务OBS”。
- 进入OBS管理控制台页面。
- 创建一个桶,桶名全局唯一,这里以桶名“obs1”为例。
- 单击页面右上角“创建桶”。
- 进入“创建桶”页面,输入“桶名称”。
- 单击“立即创建”。
- 单击所建桶“obs1”,进入“概览”页面。
- 单击左侧列表中的“对象”,选择“上传对象”,将需要上传的文件“sampledata.csv”上传到指定目录,单击“上传”。
文件上传成功后,待分析的文件路径为“obs://obs1/sampledata.csv”。
关于OBS管理控制台更多操作请参考《对象存储服务控制台指南》。
针对大文件场景,由于OBS管理控制台对文件大小和数量限制较多,所以推荐使用OBS工具上传大文件,如OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。OBS上传文件指导,请参见《OBS工具指南》。
步骤4:创建队列
队列是使用DLI服务的基础,执行SQL作业前需要先创建队列。
- DLI有预置的可用队列“default”。
- 用户也可根据需要自己创建队列。
- 在DLI管理控制台,单击左侧导航栏中的“SQL编辑器”,可进入SQL作业“SQL编辑器”页面。
- 在左侧导航栏,选择队列页签,单击右侧的创建队列。
创建队列详细介绍请参考创建队列。
步骤5:创建数据库
在进行数据查询之前还需要创建一个数据库,例如db1。
“default”为内置数据库,不能创建名为“default”的数据库。
- 在DLI管理控制台,单击左侧导航栏中的“SQL编辑器”,可进入SQL作业“SQL编辑器”页面。
- 在“SQL编辑器”页面右侧的编辑窗口中,输入如下SQL语句,单击“执行”。阅读并同意隐私协议,单击“确定”。
create database db1;
数据库创建成功后,新建的数据库db1会在左侧“数据库”列表中出现。
在DLI管理控制台第一次单击“执行”操作时,需要阅读隐私协议,确认同意后才能执行作业,且后续“执行”操作将不会再提示阅读隐私协议。
步骤6:创建表
数据库创建完成后,需要在数据库db1中基于OBS上的样本数据“obs://obs1/sampledata.csv”创建一个表,例如table1。
- 在“SQL编辑器”页面右侧的编辑窗口上方,选择队列“default”和数据库“db1”。
- 在编辑窗口中,输入如下SQL语句,单击“执行”。
create table table1 (id int, name string) using csv options (path 'obs://obs1/sampledata.csv');
表table1创建成功后,单击左侧“库表”页签,再单击db1,新创建的表table1会在“表”区域下方显示。