值得一提的是，所有能使用--conf指定的参数均会默认从文件~/spark-obs/conf/spark-defaults.conf中读取，所以通用配置可以如配置Spark对接OBS一样，直接写入作为默认值。 spark.executor.instances：执行程序的Pod数量。

查看更多 →

安装PV driver 本章节适用于虚拟化类型为XEN架构的 云服务器 ，目前仅部分老用户在使用XEN架构并逐步切换至KVM架构，新用户将不会再购买到XEN架构的云 服务器 （详见已停售的实例规格）。如果当前创建的私有镜像用于非已停售的实例规格，请省略此步骤。 操作场景 使用 弹性云服务器

查看更多 →

的executor都需要和Driver进行交互来运行作业。 如果NodeManager连不上客户端所在的节点，就会报错： 处理步骤 在客户端的Spark配置中指定Driver的IP地址： “<客户端安装位置>/Spark/spark/conf/spark-defaults.conf”中添加参数“spark

查看更多 →

设置。 在每个会话的第一次使用临时表之前可以改变temp_buffers的值，之后的设置将是无效的。 一个会话将按照temp_buffers给出的限制，根据需要分配临时缓冲区。如果在一个并不需要大量临时缓冲区的会话里设置一个大的数值，其开销只是一个缓冲区描述符的大小。当缓冲区被使用，就会额外消耗8192字节。

查看更多 →

参数说明：设置每个数据库会话使用的LOCAL临时缓冲区的大小。 该参数属于USERSET类型参数，请参考表1中对应设置方法进行设置。 在每个会话的第一次使用临时表之前可以改变temp_buffers的值，之后的设置将是无效的。 一个会话将按照temp_buffers给出的限制，根据需要分配临

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。

查看更多 →

jar。当前版本用户除了这一步外还需要额外的配置项，否则会报class not found异常。 回答 当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。

查看更多 →

面，单击图表区域右上角的下拉菜单，选择“定制 > JD BCS erver2x进程的非堆内存统计” ，单击“确定”，根据告警产生时间，查看对应时间段的“JDB CS erver2x进程使用的非堆内存”的值，获取最大值。 图2 JDBCServer2x进程的非堆内存统计 在 FusionInsight

查看更多 →

pyspark样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的pyspark样例代码。 在 DLI 管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《 数据湖探索 用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或

查看更多 →

剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有大量的动态分区时，这可能会导致

查看更多 →

剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有大量的动态分区时，这可能会导致

查看更多 →

IndexServer2x进程的非堆内存统计” ，单击“确定”，根据告警产生时间，查看对应时间段的“IndexServer2x进程使用的非堆内存”的值，获取最大值。 图2 IndexServer2x进程的非堆内存统计 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 >

查看更多 →

服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 IndexServer2x进程直接内存使用率过高，会影响IndexServer2x进程运行的性能，甚至造

查看更多 →

产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 IndexServer2x进程堆内存使用率过高，会影响IndexServer2x进程运行的性能，甚至造成内存溢出导致IndexServer2x进程不可用。

查看更多 →

applicationID命令后Spark只会停掉任务对应的SparkContext，而不是退出当前进程。如果当前进程中存在其他常驻的线程（类似spark-shell需要不断检测命令输入，Spark Streaming不断在从数据源读取数据），SparkContext被停止并不会终止整个进程。 如

查看更多 →

、散列为基础的聚集、散列为基础的IN子查询处理中都要用到。 对于复杂的查询，可能会同时并发运行好几个排序或者散列操作，每个都可以使用此参数所声明的内存量，不足时会使用临时文件。同样，好几个正在运行的会话可能会同时进行排序操作。因此使用的总内存可能是work_mem的好几倍。 参数类型：USERSET

查看更多 →

设置。 在每个会话的第一次使用临时表之前可以改变temp_buffers的值，之后的设置将是无效的。 一个会话将按照temp_buffers给出的限制，根据需要分配临时缓冲区。如果在一个并不需要大量临时缓冲区的会话里设置一个大的数值，其开销只是一个缓冲区描述符的大小。当缓冲区被使用，就会额外消耗8192字节。

查看更多 →

临时磁盘文件之前使用的内存大小。带partial cluster key的表、带索引的表插入，创建表索引，删除表和更新表都会用到。 参数类型：USERSET 多个正在运行的会话可能会同时进行表的局部排序操作，因此使用的总内存可能是psort_work_mem的好几倍。 取值范围：

查看更多 →

设置。 在每个会话的第一次使用临时表之前可以改变temp_buffers的值，之后的设置将是无效的。 一个会话将按照temp_buffers给出的限制，根据需要分配临时缓冲区。如果在一个并不需要大量临时缓冲区的会话里设置一个大的数值，其开销只是一个缓冲区描述符的大小。当缓冲区被使用，就会额外消耗8192字节。

查看更多 →