Spark SQL语法概览 本章节介绍了目前 DLI 所提供的Spark SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表

查看更多 →

Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录 FusionInsight Manager管理界面，修改JD BCS erver的参数“spark.authenticate.enableSaslEncryp

查看更多 →

ght_Spark2x_xxx/install/FusionInsight-Spark2x-*/spark/conf/log4j-executor.properties”）中的日志级别为DEBUG，如下所示： log4j.rootCategory=DEBUG, sparklog DEBUG级别生效会有一定的时延。

查看更多 →

配置为-1时，将不进行广播。 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadcastJoinThreshold”的值。 spark.sql.autoBroadcastJoinThreshold

查看更多 →

Spark常见问题 Spark Core SQL和DataFrame Spark Streaming Spark客户端设置回收站version不生效 Spark yarn-client模式下如何修改日志级别为INFO 父主题： 使用Spark/Spark2x

查看更多 →

v1.0/analysis/task/sparkid { "taskId":"xxxx", "sparkId":"xxx" } 参数说明 参数名 类型 备注 taskId String 任务ID。 sparkId String Spark任务ID。 响应 响应样例 { "success":

查看更多 →

并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。MLlib和GraghX的详细指导请参见Spark官方网站：http://spark.apache.org/docs/2.2

查看更多 →

Spark Streaming程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark应用调优 Spark Core调优 SQL和DataFrame调优 Spark Streaming调优 Spark CBO调优 父主题： Spark应用开发常见问题

查看更多 →

Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark应用调优

查看更多 →

。 操作步骤 Spark CBO的设计思路是，基于表和列的统计信息，对各个操作算子（Operator）产生的中间结果集大小进行估算，最后根据估算的结果来选择最优的执行计划。 设置配置项。 在“spark-defaults.conf”配置文件中增加配置项“spark.sql.cbo

查看更多 →

Spark常用API介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python API接口介绍 Spark client CLI介绍 Spark JDB CS erver接口介绍 父主题： Spark应用开发常见问题

查看更多 →

调测Spark应用 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（安全模式）

查看更多 →

zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<系统 域名 >@<系统域名>;' 父主题： Spark

查看更多 →

Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、 数据仓库 等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark

查看更多 →

Spark2x Spark2x基本原理 Spark2x HA方案介绍 Spark2x与其他组件的关系 Spark2x开源增强特性 父主题： 组件介绍

查看更多 →

Spark任务提交失败 问题现象 Spark提交任务直接提示无法提交任务。 Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1： 最常见的无法提交任务原因是认证失败， 还有可能是参数设置不正确。 问题2： 集群默认会把分析节点的hadoop

查看更多 →

Spark作业相关API 创建批处理作业 查询批处理作业列表 查询批处理作业详情 查询批处理作业状态 取消批处理作业

查看更多 →

Spark应用开发规范 Spark应用开发规则 Spark应用开发建议

查看更多 →

Spark on Hudi开发规范 Spark读写Hudi开发规范 Spark读写Hudi资源配置建议 Spark On Hudi性能调优 父主题： Hudi应用开发规范

查看更多 →

Spark运维管理 快速配置参数 常用参数 Spark2x日志介绍 调整Spark日志级别 配置WebUI上查看Container日志 获取运行中Spark应用的Container日志 配置Spark Eventlog日志回滚 配置WebUI上显示的Lost Executor信息的个数

查看更多 →