配置Spark多租户模式 配置场景 多租户模式是将JD BCS erver和租户绑定，每一个租户对应一个或多个JDB CS erver，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 配置描述 登录Manager，选择“集群 > 服务

查看更多 →

配置Spark SQL防御规则 配置Spark SQL防御操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 配置Spark SQL防御前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。

查看更多 →

配置参数 登录 FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.dropPartitionsInBatch.enabled 配置为true后，使用Drop

查看更多 →

配置Spark Executor退出时执行自定义代码 本章节仅适用于 MRS 3.2.0及之后版本。 配置场景 通过配置如下参数可以实现Executor退出时执行自定义代码。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值

查看更多 →

端。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值 spark.sql.streaming.stateStore.providerClass 用于管理有状态流查询中的状态数据的类。此类必须是StateStoreP

查看更多 →

discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →

请根据重置Linux 云服务器 云主机密码（未安装重置密码插件）安装插件。 云主机的重置密码请求下发后，脚本执行失败，该API不会报错。 云主机开机或重启后，新密码生效。 该接口支持虚拟机状态为开机或者关机状态下执行。 调试 您可以在 API Explorer 中调试该接口。 URI PUT

查看更多 →

存在的分区，来避免读取时报错。 配置描述 可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath

查看更多 →

存在的分区，来避免读取时报错。 配置描述 可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.sql.hive.verifyPartitionPath

查看更多 →

致。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 取值范围 spark.sql.sources.partitionOverwriteMode 当前执行insert

查看更多 →

HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题： 使用HBase

查看更多 →

Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 父主题： 使用Kafka

查看更多 →

Yarn企业级能力增强 配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceM

查看更多 →

则将停用。 开启企业级QoS功能 申请共享带宽时开启，请参考申请共享带宽申请共享带宽，勾选“企业级QoS功能”。 图1 开启企业级QoS功能 已存在的共享带宽，可在共享带宽列表操作列单击“更多 > 开启企业级QoS功能”。 图2 开启企业级QoS功能 关闭企业级QoS功能 在共享带宽列表操作列单击“更多

查看更多 →

Oozie企业级能力增强 开启Oozie HA机制 使用Share Lib工具检查Oozie依赖Jar包正确性 父主题： 使用Oozie

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark

查看更多 →

e 支持的数据格式：parquet、orc 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.sql.mergeSmallFiles.enabled

查看更多 →

在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.yarn.session.to.application.clean.enabled 设置为true，Spark将开启定期残余文件清理特性

查看更多 →