设置。 在每个会话的第一次使用临时表之前可以改变temp_buffers的值，之后的设置将是无效的。 一个会话将按照temp_buffers给出的限制，根据需要分配临时缓冲区。如果在一个并不需要大量临时缓冲区的会话里设置一个大的数值，其开销只是一个缓冲区描述符的大小。当缓冲区被使用，就会额外消耗8192字节。

查看更多 →

、散列为基础的聚集、散列为基础的IN子查询处理中都要用到。 对于复杂的查询，可能会同时并发运行好几个排序或者散列操作，每个都可以使用此参数所声明的内存量，不足时会使用临时文件。同样，好几个正在运行的会话可能会同时进行排序操作。因此使用的总内存可能是work_mem的好几倍。 参数类型：USERSET

查看更多 →

设置。 在每个会话的第一次使用临时表之前可以改变temp_buffers的值，之后的设置将是无效的。 一个会话将按照temp_buffers给出的限制，根据需要分配临时缓冲区。如果在一个并不需要大量临时缓冲区的会话里设置一个大的数值，其开销只是一个缓冲区描述符的大小。当缓冲区被使用，就会额外消耗8192字节。

查看更多 →

来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值，会影响IndexServer2x进程运行的性能，甚至造

查看更多 →

值得一提的是，所有能使用--conf指定的参数均会默认从文件~/spark-obs/conf/spark-defaults.conf中读取，所以通用配置可以如配置Spark对接OBS一样，直接写入作为默认值。 spark.executor.instances：执行程序的Pod数量。

查看更多 →

的executor都需要和Driver进行交互来运行作业。 如果NodeManager连不上客户端所在的节点，就会报错： 处理步骤 在客户端的Spark配置中指定Driver的IP地址： “<客户端安装位置>/Spark/spark/conf/spark-defaults.conf”中添加参数“spark

查看更多 →

DLI 支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数：通过设置队列的Spark driver，以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。

查看更多 →

jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

Jobgateway的flink作业launcherJob日志无详细信息。 不起realJob的FlinkSql类型作业偶现状态刷新失败。 历史作业信息的老化未根据任务结束时间进行老化。 用户添加成功后首次作业管理提交作业时显示 MRS Manager中用户不存在。 全链路在DLF上的Spark/DWS作业For

查看更多 →

服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 IndexServer2x进程非堆内存使用率过高，会影响IndexServer2x进程运行的性能，甚至造

查看更多 →

jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。

查看更多 →

jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

方法进行设置。 设置建议：内存有限的情况下，合理的数量应该是shared_buffers数量的2倍到4倍。对性能有较高要求且内存足够的情况下，建议手动设置为shared_buffers数量的4倍以上，且与page_version_partitions的比值范围为[256, 1024]。

查看更多 →

临时磁盘文件之前使用的内存大小。带partial cluster key的表、带索引的表插入，创建表索引，删除表和更新表都会用到。 参数类型：USERSET 多个正在运行的会话可能会同时进行表的局部排序操作，因此使用的总内存可能是psort_work_mem的好几倍。 取值范围：

查看更多 →

设置。 在每个会话的第一次使用临时表之前可以改变temp_buffers的值，之后的设置将是无效的。 一个会话将按照temp_buffers给出的限制，根据需要分配临时缓冲区。如果在一个并不需要大量临时缓冲区的会话里设置一个大的数值，其开销只是一个缓冲区描述符的大小。当缓冲区被使用，就会额外消耗8192字节。

查看更多 →

产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JD BCS erver2x进程非堆内存使用率过高，会影响JDB CS erver2x进程运行的性能，甚至造成内存溢出导致JDBCServer2x进程不可用，Spark

查看更多 →

作业特性。表示用户作业使用的Spark镜像类型，默认值为basic。 basic：表示使用DLI提供的基础Spark镜像。 custom：表示使用用户自定义的Spark镜像。 ai：表示使用DLI提供的AI镜像。 --queue String 否 用于指定队列，填写已创建DLI的队列名。必须为

查看更多 →

服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 IndexServer2x进程直接内存使用率过高，会影响IndexServer2x进程运行的性能，甚至造

查看更多 →