约束与限制

资源规格

• 当前弹性资源池最大的计算资源 32000CUs。
• 弹性资源池中可创建队列的最小CU：
  • 通用队列：4CUs
  • SQL队列：Spark SQL队列：8CUs；HetuEngine SQL队列：96CUs

弹性资源池计费模式

• 弹性资源池支持按需和包年包月的购买方式。
• 不支持切换弹性资源池的计费模式。
• 当前仅支持包年包月计费模式的弹性资源池进行规格变更。
• 按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。

管理弹性资源池

• 弹性资源池不支持切换区域。
• Flink 1.10及其以上版本的作业支持在弹性资源池运行。
• 弹性资源池网段设置后不支持更改。
• 仅支持查看30天以内的弹性资源池扩缩容历史。
• 弹性资源池无法直接访问公网。

弹性资源池关联队列

• 弹性资源池关联队列：
  • 仅支持关联按需计费模式的队列（包括专属队列）。
  • 队列和弹性资源池状态正常，资源未被冻结。

弹性资源池扩缩容

• 弹性资源池CU设置、弹性资源池中添加/删除队列、修改弹性资源池中队列的扩缩容策略、系统自动触发弹性资源池扩缩容时都会引起弹性资源池CU的变化，部分情况下系统无法保证按计划扩容/缩容至目标CUs：
  • 弹性资源池扩容时，可能会由于物理资源不足导致弹性资源池无法扩容到设定的目标大小。
  • 弹性资源池缩容时，系统不保证将队列资源完全缩容到设定的目标大小。

    在执行缩容任务时，系统会先检查资源使用情况，判断是否存在缩容空间，如果现有资源无法按照最小缩容步长执行缩容任务，则弹性资源池可能缩容不成功，或缩容一部分规格的情况。

    因资源规格不同可能有不同的缩容步长，通常是16CUs、32CUs、48CUs、64CUs等。

    示例：弹性资源池规格为192CUs，资源池中的队列执行作业占用了68CUs，计划缩容至64CUs。

    执行缩容任务时，系统判断剩余124CUs，按64CUs的缩容步长执行缩容任务，剩余60CUs资源无法继续缩容，因此弹性资源池执行缩容任务后规格为128CUs。

资源类型

• 队列类型：
  • default队列：DLI服务预置了名为“default”的队列供用户体验，资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。
  • SQL类型队列：SQL队列支持提交Spark SQL作业。
  • 通用队列：支持Spark程序、Flink SQL、Flink Jar作业。
• 不支持队列类型切换，如需使用其他队列类型，请重新购买新的队列。

管理队列

• 不支持切换队列的计费模式。
• 队列不支持切换区域。
• 创建队列时（非弹性资源池模式的队列），仅支持包年包月队列和按需专属队列选择跨AZ双活，且跨AZ的队列价格为单AZ模式下的2倍。
• DLI队列不支持访问公网。

队列扩缩容

• 16CUs队列不支持扩容和缩容。
• 64CUs队列不支持缩容。
• 新创建的队列需要运行作业后才可进行扩缩容。

作业类型

• DLI支持的作业类型：SQL作业、Spark Jar、Flink OpenSource SQL、Flink Jar

不同类型作业支持的引擎和版本

• SQL作业支持Spark和HetuEngine两种引擎。
  • Spark：显示执行引擎为“Spark”的作业。
  • HetuEngine：显示执行引擎为“HetuEngine”的作业。
• DLI支持的Spark版本：Spark 3.3.1、Spark 3.1.1（EOM）、Spark 2.4.5（EOM）、Spark 2.3（EOS）
• DLI支持的Flink版本：Flink Jar 1.15、Flink 1.12（EOM）、Flink 1.10（EOS）、Flink 1.7（EOS）

管理作业

• DLI配置SparkUI只展示最新的100条作业信息。
• 控制台界面查询结果最多显示1000条作业结果数据，如果需要查看更多或者全量数据，则可以通过该功能将数据导出到OBS获取。
• 导出作业运行日志需要具有OBS桶的权限，请提前在“全局配置 > 工程配置”页面配置DLI作业桶。
• default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。
• 仅Spark作业支持使用自定义镜像。

区域限制

套餐包购买后区域固定无法更换，购买的套餐只能在绑定的区域使用，不能在非绑定区域使用。

使用限制

• 套餐包购买后不支持退订。
• 计费时优先使用套餐中的资源，套餐中资源使用完后，超出部分按需付费。
• 套餐包不支持抵扣已使用的资源。
• 套餐包到期后，按需资源不会自动关闭，将会以按需付费的方式继续使用。
• 存储套餐的额度每个小时会重置。其他类型套餐包额度按月重置。

数据库

• “default”为内置数据库，不能创建名为“default”的数据库。
• DLI支持创建的数据库的最大数量为50个。

数据表

• DLI支持创建的表的最大数量为5000个。
• DLI支持创建表类型：
  • Managed：数据存储位置为DLI的表。
  • External：数据存储位置为OBS的表。
  • View：视图，视图只能通过SQL语句创建。
  • 跨源表：表类型同样为External。
• 创建DLI表时不支持指定存储路径。

数据导入

• 仅支持将OBS上的数据导入DLI或OBS中。
• 支持将OBS中CSV，Parquet，ORC，JSON和Avro格式的数据导入到在DLI中创建的表。
• 将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。
• 导入数据的编码格式仅支持UTF-8。

数据导出

• 只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。
• 导出文件格式为json格式，且文本格式仅支持UTF-8。
• 支持跨账号导出数据，即B账户对A账户授权后，A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。

程序包

• 程序包支持删除，但不支持删除程序包组。
• 支持上传的程序包类型：
  • JAR：用户jar文件。
  • PyFile：用户Python文件。
  • File：用户文件。
  • ModelFile：用户AI模型文件。

适用场景约束限制

• DLI提供的default队列不支持创建跨源连接。
• Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
• 使用非弹性资源池模式的计算资源时，增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。

权限要求

• 增强型跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。

  可在服务授权中进行设置。

使用约束限制

• 使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。
• 访问跨源表需要使用已经创建跨源连接的队列。
• 跨源表不支持Preview预览功能。

检测连通性要求

• 检测跨源连接的连通性时对IP约束限制如下：
  • IP必须为合法的IP地址，用“.”分隔的4个十进制数，范围是0-255。
  • 测试时IP地址后可选择添加端口，用":"隔开，端口最大限制5位，端口范围：0~65535。

    例如192.168.xx.xx或者192.168.xx.xx:8181。

• 检测跨源连接的连通性时对域名约束限制如下：
  • 域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。
  • 域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。
  • 测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。

    例如example.com:8080。

适用场景约束限制

• 仅Spark SQL、和Flink OpenSource SQL 1.12版本的作业支持使用跨源认证。
• 仅在2023年5月1日后创建的队列，支持Flink作业使用跨源认证。

跨源认证类型

• DLI支持四种类型的跨源认证，不同的数据源按需选择相应的认证类型。
  • CSS类型跨源认证：适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。
  • Kerberos类型的跨源认证：适用于开启Kerberos认证的MRS安全集群。
  • Kafka_SSL类型的跨源认证：适用于开启SSL的Kafka。
  • Password类型的跨源认证：适用于DWS、RDS、DDS、DCS数据源。

SQL语法限制

不支持在创建DLI表时指定存储路径。

SQL语句大小限制

• 须小于500000字符。
• 须小于1MB。

配额类

DLI配额相关约束限制请参考配额管理操作指导。

浏览器版本要求

更多浏览器的兼容性列表请参考支持的浏览器有哪些？