默认值 描述 spark.driver.memory 4G 指定用于driver端进程的内存，其中SparkContext已初始化。 说明： 在客户端模式下，不要使用SparkConf在应用程序中设置该参数，因为驱动程序JVM已经启动。要配置该参数，请在--driver-memory命令行选项或默认属性文件中进行配置。

查看更多 →

默认值 描述 spark.driver.memory 4G 指定用于driver端进程的内存，其中SparkContext已初始化。 说明： 在客户端模式下，不要使用SparkConf在应用程序中设置该参数，因为驱动程序JVM已经启动。要配置该参数，请在--driver-memory命令行选项或默认属性文件中进行配置。

查看更多 →

）执行如下命令： spark-submit --master yarn --jars /opt/hudi-java-examples-1.0.jar // 指定spark运行时需要的hudi jars路径 --driver-memory 1g --executor-memory 1g --executor-cores

查看更多 →

5倍速率调大。若频繁出现告警，可以按1倍速率调大。建议不要超过“SPARK_DRIVER_MEMORY”的参数值。多业务量、高并发的情况可以考虑增加实例。 在 FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > 待操作集群名称 > Spark2x > 内存 > JD BCS erver2x直接内存使用率统计

查看更多 →

在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JDB CS erver2x > 性能”，“SPARK_DRIVER_MEMORY”参数的默认值为4G，可根据如下原则进行调整：若偶现告警，可以按0.5倍速率

查看更多 →

在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“IndexServer2x > 性能”，“SPARK_DRIVER_MEMORY”参数的默认值为4G，可根据如下原则进行调整：若偶现告警，可以按0.5倍速

查看更多 →

在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JDBCServer2x > 默认”，“SPARK_DRIVER_MEMORY”参数默认值为4G。若参数值调整后，仍偶现告警，可按0.5倍速率调大。若告警

查看更多 →

Memory Statistics Memory Statistics指标名称及描述如下表所示。 表1 Memory Statistics报表主要内容 指标名称 描述 shared_used_memory 已经使用共享内存大小（MB）。 max_shared_memory 最大共享内存（MB）。

查看更多 →

在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“IndexServer2x > 性能”，“SPARK_DRIVER_MEMORY”参数的值默认4G，可根据如下原则进行调整：告警时间段内IndexServ

查看更多 →

缺点：需要调优。大数据情况下建议JDBCServer driver端内存10G，executor端每个核心分配3G内存。 true：使用该功能 false: 不使用该功能 false spark.sql.collect.Hive 该参数在spark.sql.uselocalFileColle

查看更多 →

缺点：需要调优。大数据情况下建议JDBCServer driver端内存10G，executor端每个核心分配3G内存。 true：使用该功能 false: 不使用该功能 false spark.sql.collect.Hive 该参数在spark.sql.uselocalFileColle

查看更多 →

）执行如下命令： spark-submit --master yarn --jars /opt/hudi-java-examples-1.0.jar // 指定spark运行时需要的hudi jars路径 --driver-memory 1g --executor-memory 1g --executor-cores

查看更多 →

5版本，无需执行安装操作。 如果未查到PV driver版本信息，或者PV driver的版本低于或等于2.5版本，执行安装PV driver或安装PV driver升级包。 前提条件 云服务器 已安装操作系统，并且已经绑定弹性公网IP。 云 服务器 的系统磁盘的剩余空间必须大于32MB。

查看更多 →

在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JDBCServer2x > 性能”，“SPARK_DRIVER_MEMORY”参数的值默认4G，可根据如下原则进行调整：告警时间段内JDBCServer

查看更多 →

配置 MRS 客户端。 进入Spark客户端安装目录“/opt/client/Spark2x/spark/conf”，在“spark-defaults.conf”配置文件如下参数。 spark.pyspark.driver.python=/usr/bin/python3 spark.yarn.dist

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC 4 acceptsURL(String url) boolean Yes connect(String url, Properties

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC 4 acceptsURL(String url) Boolean Yes connect(String url, Properties

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC4 acceptsURL(String url) Boolean Yes connect(String url, Properties

查看更多 →

java.sql.Driver java.sql.Driver是数据库驱动接口。 表1 对java.sql.Driver的支持情况 方法名 返回值类型 支持JDBC 4 acceptsURL(String url) Boolean Yes connect(String url, Properties

查看更多 →

队列最小CUs小于16CUs时，该配置项不生效。 最大预拉起spark driver实例数 队列预先启动的最大spark driver数量。当运行作业的spark driver任务数超过“单spark driver实例最大并发数”的值时，作业将会分配到预先启动的spark driver上面。 当队列为16CUs时范围：0-1

查看更多 →

本章节示例中使用的jar样例程序为“{集群客户端安装目录}/Spark2x/spark/examples/jars/spark-examples_*.jar”（部分版本集群中Spark2x文件夹名称为Spark，请以实际为准）。 可登录客户端节点执行如下命令，将待运行的jar包样例上传至HDFS中，请参考使用HDFS客户端。

查看更多 →