Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.sql.mergeSmallFiles.enabled 设置为true，Spark写入目标

查看更多 →

。在DYNAMIC模式下，Spark按照匹配条件匹配分区，并动态匹配没有指定匹配条件的分区。 STATIC [STATIC,DYNAMIC] 父主题： Spark SQL企业级能力增强

查看更多 →

compression"="snappy"。 对于非分区表，需要通过“spark.sql.parquet.compression.codec”配置项来设置parquet类型的数据压缩格式。直接设置“parquet.compression”配置项是无效的，因为它会读取“spark.sql.parquet.compression

查看更多 →

compression"="snappy"。 对于非分区表，需要通过“spark.sql.parquet.compression.codec”配置项来设置parquet类型的数据压缩格式。直接设置“parquet.compression”配置项是无效的，因为它会读取“spark.sql.parquet.compression

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”

查看更多 →

配置Spark事件队列大小 配置场景 Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Dr

查看更多 →

配置Spark事件队列大小 配置场景 Spark中的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Driv

查看更多 →

重启实例”，输入当前用户密码，单击“确定”重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，重新下载并安装Spark/Spark2x客户端。 否，操作结束。 父主题： Hive企业级能力增强

查看更多 →

nogrant”，“值”为“true ”，修改后重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，重新下载并安装Spark/Spark2x客户端。 否，操作结束。 父主题： Hive企业级能力增强

查看更多 →

create”，“值”为“true”。 单击“保存”保存配置。单击“实例”，勾选所有Spark2x实例，选择“更多 > 重启实例”，输入当前用户密码，单击“确定”重启所有实例。 重新下载并安装Spark/Spark2x客户端。 父主题： Hive企业级能力增强

查看更多 →

企业级会议事件推送设置 应用示例 接口参考 父主题： 会议事件推送

查看更多 →

重启实例”，输入当前用户密码，单击“确定”重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，重新下载并安装Spark/Spark2x客户端。 否，操作结束。 父主题： Hive企业级能力增强

查看更多 →

ve.allow.only.admin.create”，“值”为“true”，修改后重启所有Spark2x实例。 重新下载并安装Spark/Spark2x客户端。 父主题： Hive企业级能力增强

查看更多 →

如何使用PySpark连接MRS Spark？ 问：如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase

查看更多 →