计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

队列管理概述

更新时间:2022-07-01 GMT+08:00

队列

DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。

当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,SQL队列用于运行SQL作业,通用队列兼容老版本的Spark队列,用于运行Spark作业和Flink作业。

说明:

SQL队列每隔12小时会自动重启一次。

计算资源和存储资源的区别

表1 计算资源和存储资源的区别

资源名称

获取方式

主要作用

计算资源

在DLI管理控制台创建队列。

执行查询。

存储资源

DLI服务自带5G配额。

存储数据库和DLI表。

说明:
  • 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数据量。
  • 存储资源无需创建,DLI默认提供5G配额。
  • DLI服务预置了名为“default”的队列。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。
  • “default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。

专属队列

专属队列是指队列对应的资源为专属资源,空闲时不释放,即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。

跨AZ队列

可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。

DLI跨AZ队列能够为用户提供跨区域容灾的能力,提高计算的可靠性,用户可以在单AZ不可用的情况下,持续使用DLI服务。适用于用户对队列可靠性要求较高的场景。

DLI跨AZ队列是指在两个不同AZ下建立相同的计算资源,例如,用户1需要1400CUs的计算资源,那么用户1可以在创建队列的时候选择1400CUs的计算资源并且勾选跨AZ选项,DLI将为用户1创建两个不同AZ下的专属1400CUs计算资源,在一个AZ不可用的情况下,另外一个AZ可以正常的处理用户1的计算任务。

说明:
  • 目前仅支持SQL队列。
  • 不支持default队列。
  • 在创建队列时勾选跨AZ选项后,计费将为单AZ模式下的2倍。

AI增强型队列

AI增强型队列用于运行AI相关的SQL作业。DLI通过AI镜像,在原有的Spark镜像基础上,集成了一系列通用的AI相关算法包,将Spark与AI能力相结合,方便用户运行机器学习相关的作业。AI镜像所依赖的安装包请参考AI镜像安装依赖包。创建队列时在“队列特性”中选择“AI增强型”即可使用。

队列规格变更(扩缩容)

用户购买队列后,随着业务场景的变化,可能存在队列资源不足或队列资源浪费的情况。

DLI提供了队列规格变更(扩缩容)的功能。包括手动调整和定时调整两种方式。

另外,针对Flink作业,DLI可根据作业大小自动触发扩缩容,用户无需进行操作。

说明:

新创建的队列需要运行作业后才可进行扩缩容。

队列管理页面

队列管理主要包括如下功能:

说明:

DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)的SMN Administrator权限。

队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列,创建时间最近的队列显示在最前端。

表2 队列管理参数

参数

参数说明

名称

队列的名称。

类型

队列的类型。

  • SQL队列
  • 通用队列
  • Spark队列(兼容老版本)

队列规格

队列大小,单位:CUs。

CUs是队列的计价单位。 1CUs=1Core 4GMem 。不同规格的队列对应的计算能力不一样,规格越高计算能力越好。

所有者

队列所有者。

创建时间

创建队列的时间。

描述

创建队列时,对队列的描述。如果无描述,则显示“--”。

操作

  • 详情:可查看“权限信息”及进行“用户授权”。
  • 重启:强制重启队列。
    说明:

    只有SQL队列有“重启”操作。

  • 删除:删除所选队列。如果队列中有正在提交或者正在运行的作业,将不支持删除操作。
  • 修改网段:使用DLI增强型跨源时,DLI队列网段与数据源网段不能重合,可根据需要进行修改。
  • 规格变更:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。
  • 规格变更定时任务:可以根据业务周期或使用情况,在不同的时间或周期内设置不同的队列大小,系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。
  • 权限管理:查看队列对应的用户权限信息以及对其他用户授权。
  • 测试地址连通性:测试队列到指定地址是否可达,支持域名和ip,可指定端口。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容