SparkSQL建表时的目录权限 问题 新建的用户，使用SparkSQL建表时出现类似如下错误： 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache

查看更多 →

SparkSQL建表时的目录权限 问题 新建的用户，使用SparkSQL建表时出现类似如下错误： 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache

查看更多 →

参数说明 (3) 参数 描述 默认值 hadoop.proxyuser.spark.hosts 允许Spark用户伪装成来自哪些host的用户，需设为“*”，代表所有节点。 - hadoop.proxyuser.spark.groups 允许Spark用户伪装成哪些用户组的用户，需设为“*”，代表所有用户组。

查看更多 →

Hive基本原理 Hive是建立在Hadoop上的 数据仓库 基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。

查看更多 →

库服务DDS，数据仓库服务 GaussDB （DWS）， MapReduce服务 MRS，云数据库RDS等。使用 DLI 的跨源能力，需要先创建跨源连接。 管理控制台界面具体操作请参考《 数据湖探索 用户指南》。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。

查看更多 →

则可以在Spark任务启动的时候增加设置参数： --conf spark.hadoop.net.topology.node.switch.mapping.impl=org.apache.hadoop.net.ScriptBasedMapping 父主题： 使用Spark

查看更多 →

方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor

查看更多 →

方案一： 修改Spark2x客户端conf目录下spark-default.conf文件，清空（直接赋值为空） 配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor

查看更多 →

10.0.100:25000,10.10.0.101:25000',hdfscfgpath '/opt/hadoop_client/HDFS/hadoop/etc/hadoop',type'HDFS'); 在可选项options里面写入了HDFS集群对应的NameNode的IP

查看更多 →

多主实例切换成多租户模式 修改Spark2x服务的以下参数： spark.thriftserver.proxy.enabled=true spark.scheduler.allocation.file=./__spark_conf__/__hadoop_conf__/fairscheduler

查看更多 →

访问Spark WebUI界面 操作场景 MRS 集群安装Spark组件后，用户可以通过Spark WebUI界面查看Spark应用程序运行情况。 本章节指导用户在MRS集群中访问Spark WebUI界面。 前提条件 MRS集群已安装Spark组件，并且正常运行。 已创建具有Sp

查看更多 →

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop export SPARK_CONF_DIR=/opt/cloudera/parcels/CDH/lib/spark/conf export SPARK_HOME=/o

查看更多 →

1.0101-hw-ei-12 Hive 2.3.3 2.3.3-mrs-1.9.0 Hive_Spark 1.2.1 1.2.1.spark_2.2.1-mrs-1.9.0 Spark 2.2.2 2.2.2-mrs-1.9.0 Carbon 1.6.1 - Presto 0.216

查看更多 →

【Spark WebUI】为什么从Yarn Web UI页面无法跳转到Spark WebUI界面 用户问题 在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误： 从Yarn ResourceManager的日志看到：

查看更多 →

53客户端机器，修改/etc/hosts文件，将10.120.169.53更改为相对应的192网段的IP地址。再重新运行Spark应用，这时就可以打开Spark Web UI界面。 父主题： Spark故障排除

查看更多 →

将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version>

查看更多 →

是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JD BCS erver中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch 固定目录 存放Spark cli方式运行metastore

查看更多 →

YARN-Client模式下，直接使用原有的三个配置项的值。 原有的三个配置项为：“spark.driver.extraClassPath”、“spark.driver.extraJavaOptions”、“spark.driver.extraLibraryPath”。 不添加表1中配置项时

查看更多 →

YARN-Client模式下，直接使用原有的三个配置项的值。 原有的三个配置项为：“spark.driver.extraClassPath”、“spark.driver.extraJavaOptions”、“spark.driver.extraLibraryPath”。 不添加表1中配置项时

查看更多 →

Spark任务提交失败 问题现象 Spark提交任务直接提示无法提交任务。 Spark提示无法获取到yarn的相关jar包。 提示多次提交一个文件。 原因分析 问题1： 最常见的无法提交任务原因是认证失败， 还有可能是参数设置不正确。 问题2： 集群默认会把分析节点的hadoop

查看更多 →

secret.key", sk) 代码创建SparkSession val sparkSession: SparkSession = SparkSession .builder() .config("spark.hadoop.fs.obs.access.key"

查看更多 →