ve.allow.only.admin.create”，“值”为“true”，修改后重启所有Spark2x实例。 重新下载并安装Spark/Spark2x客户端。 父主题： Hive企业级能力增强

查看更多 →

启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka.reliability Spark Streaming对接Kafka是否开启可靠性功能：

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

Spark模板管理 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。

查看更多 →

notallowlocation”，“值”为“true”，修改后重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，重新下载并安装Spark/Spark2x客户端。 否，操作结束。 父主题： Hive企业级能力增强

查看更多 →

table”，“值”为“true”，修改后重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，重新下载并安装Spark/Spark2x客户端。 否，操作结束。 父主题： Hive企业级能力增强

查看更多 →

使用Ranger时适配第三方JDK 配置场景 当使用Ranger作为spark sql的权限管理服务时，访问RangerAdmin需要使用集群中的证书。若用户未使用集群中的JDK或者JRE，而是使用第三方JDK时，会出现访问RangerAdmin失败，进而spark应用程序启动失败的问题。 在这个场景下，需

查看更多 →

对接的 DLI 服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。

查看更多 →

配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false spark.streaming

查看更多 →

配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false spark.streaming

查看更多 →

预期的性能。 spark.sql.orc.impl : native ,默认为hive。 若使用客户端提交任务，“spark.sql.orc.enableVectorizedReader”、“spark.sql.codegen.wholeStage”、“spark.sql.codegen

查看更多 →

预期的性能。 spark.sql.orc.impl : native ，默认为hive。 如果使用客户端提交任务，“spark.sql.orc.enableVectorizedReader”、“spark.sql.codegen.wholeStage”、“spark.sql.codegen

查看更多 →

batchJob.asyncSubmit(); SparkJobStatus sparkJobStatus=batchJob.getStatus(); System.out.println(sparkJobStatus); } 查询批处理作业日志 DL

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →