配置Spark读写Doris数据 Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表

查看更多 →

Spark的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS，具体请参考配置Spark通过Guardian访问OBS。 修改Spark配置 登录 FusionInsight Manager，选择“集群

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

在客户端的“spark-defaults.conf”配置文件中，配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark

查看更多 →

配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：

查看更多 →

Oracle 、NoSQL、PostgreSQL） 配置预配置性能 进入购买磁盘页面。 在购买页面中，设置云硬盘的配置参数。 选择云硬盘类型为通用型SSD V2，并配置云硬盘容量。 设置IOPS。 设置吞吐量。 其他详细的参数配置，请参见购买云硬盘。 单击“立即购买”。 如果您选择的计费模式是“包年/包月”。

查看更多 →

快速配置Spark参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。

查看更多 →

配置Spark多租户模式 配置场景 多租户模式是将JD BCS erver和租户绑定，每一个租户对应一个或多个JDB CS erver，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 配置描述 登录Manager，选择“集群 > 服务

查看更多 →

AMD64、ARM 支持的场景：spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.plugins Spark用到的插件，参数值设置为io

查看更多 →

在客户端的“spark-default.conf”配置文件中，配置“spark.yarn.keytab”和“spark.yarn.principal”参数指定认证信息。 执行bin/spark-submit的命令中添加如下参数来指定认证信息。 --conf spark.yarn.keytab=<keytab文件路径>

查看更多 →

配置Spark SQL防御规则 配置Spark SQL防御操作场景 用户可以在Manager界面配置Spark的SQL防御规则，根据业务调整对应SQL防御规则的参数。 配置Spark SQL防御前提条件 已安装包含Spark服务的集群客户端，安装目录如“/opt/hadoopclient”。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联HBa

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联HBa

查看更多 →

下载客户端”，重新下载并安装Spark客户端，详细操作请参考安装客户端章节，并执行7。 如果不重新下载并安装客户端，则直接执行以下步骤更新Spark客户端配置文件（例如：客户端目录为“/opt/client”，具体以实际为准）： 以root用户登录Spark客户端所在的节点，切换到客户端安装目录。

查看更多 →

请根据重置Linux 云服务器 云主机密码（未安装重置密码插件）安装插件。 云主机的重置密码请求下发后，脚本执行失败，该API不会报错。 云主机开机或重启后，新密码生效。 该接口支持虚拟机状态为开机或者关机状态下执行。 调试 您可以在 API Explorer 中调试该接口。 URI PUT

查看更多 →

在页面右上角，单击“安装主机安全Agent”，弹出“安装主机安全Agent”对话框。 选择“ 弹性云服务器 ECS安装”，并单击“开始配置”。 选择安装方式。 选择安装模式：命令行安装 选择 服务器 操作系统：Linux 选择安装数量：单台 （可选）选择需要打通网络安装Agent的服务器，并单击“下一步”。

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDBCServer、Spark

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →