Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

API连接时支持为Spark SQL作业独立配置需要的资源（例如线程、内存、CPU核数并指定 MRS 资源队列等）。代理连接时不支持配置。 您需要先在数据安全组件中配置对应的队列（参考配置队列权限，）后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →

export SPARK_HOME=/opt/spark-2.3.3 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env

查看更多 →

该操作） 将以下参数添加到“Spark/spark/conf/spark-defaults.conf”文件中并保存： spark.sql.catalog.local=org.apache.iceberg.spark.SparkCatalog spark.sql.catalog.local

查看更多 →

是，客户端会自动在当前节点上安装部署。 否，客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。 客户端部署路径 /opt/testclient “自动部署到节点”选择“是”时，需要配置该参数。如果仅下载配置文件，则无该参数。 远端节点上部署路径若已存在，该路径下不能包含任何文件。若不存

查看更多 →

部署安装 配置文件许可 远程登录弹性 云服务器 ，在根目录/opt下新建文件夹： mikdir /opt/SuperMap/License 上传许可文件至此目录下 启动及停止iServer服务 将获取到的 SuperMap iPortal 安装包复制到 Linux 操作系统计算机的某个目录下（建议安装路径为英文目录，例如

查看更多 →

安装部署 安装包解压 将获取到的pie-engine-factory安装包复制到 Linux 操作系统计算机的某个目录下，例如 /home/PieEngine/下，执行以下命令进入该目录： cd /home/PieEngine/ 执行如下命令进行解压。 tar -zxvf 文件名

查看更多 →

安装部署 Backint Agent安装 配置Backint Agent （可选）升级Backint Agent 父主题： SAP Backint安装指南

查看更多 →

配置Spark读写Doris数据 Spark Doris Connector可以支持通过Spark读取Doris中存储的数据，也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表

查看更多 →

安装部署 安装包解压 将获取到的pie-engine-studio安装包复制到 Linux 操作系统计算机的某个目录下，例如 /home/PieEngine/下，执行以下命令进入该目录： cd /home/PieEngine/ 执行如下命令进行解压 tar -zxvf 文件名.tar

查看更多 →

如何让spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端spark2x sparkResource的安装目录（这个集群安装过程中可能会安装在多个节点上，随便进入一个安装节点，cd到sparkResource的安装目录）。

查看更多 →

Scripts 配置及脚本 1） Global.yaml：配置 服务器 节点的必要参数 2） Check-env.sh：部署前环境检查工作 3） Install-kubernetesinstall.sh：安装基础环境脚本 4） Auto-service.sh：完成产品一键部署 MENIFEST

查看更多 →

部署安装 配置文件许可 远程登录弹性云服务器，在根目录/opt下新建文件夹： mikdir /opt/SuperMap/License 上传许可文件至此目录下。 安装依赖库 将获取到的 SuperMap iServer 安装包复制到 Linux 操作系统计算机的某个目录下，例如 /home/map/SuperMap

查看更多 →

tar.gz 配置环境 进入解压后的目录 cd supermap-imanager-for-kubernetes 打开配置环境变量，所有变量均设有默认值，可保持不变或根据实际环境更改，配置完成后保存并退出 sudo vi .env 图1 配置环境 执行部署命令，安装iManager

查看更多 →

DataSource/Hive逻辑，默认值为“false”即使用Hive逻辑。如需使用Spark DataSource逻辑，需将此配置改为“true”。 配置方法：在“spark-defaults.conf”中新增以上配置或通过set spark.sql.hive.convertInsertingPart

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

配置SparkSQL业务用户权限 操作场景 SparkSQL业务还可能需要关联使用其他组件，例如Spark on HBase需要HBase权限。以下介绍SparkSQL关联HBase服务的操作。 前提条件 完成Spark客户端的安装，例如安装目录为“/opt/client”。 获

查看更多 →

安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 进入“补丁管理”页面，在操作列表中单击“安装”。 进入“警告”页面，阅读补丁说明，并单击“确定”。 图1 安装补丁 如果任务失败，选择“重试安装”，只有当“状态”显示为“已安装”时，才能进入下一步操作。

查看更多 →