信息，需执行以下步骤进行处理： Spark Share Lib： 上传“Spark客户端安装目录/spark/jars”路径下的Spark Jar包到检查结果对应的HDFS路径下： hdfs dfs -put -f 本地Jar包路径 异常Spark Jar包所在的HDFS路径 Core

查看更多 →

示例2：提交视频转码任务 场景描述 若您需要将存储在OBS桶中的视频文件进行转码，并添加图片水印，您可以调用MPC API进行转码处理。 本章节指导用户如何使用API调用的方式提交视频转码任务。 接口约束 不支持处理跨区域的媒资文件，如使用“华北-北京一”的MPC服务不能处理存储

查看更多 →

Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常 问题背景与现象 认证异常导致提交Spark任务失败，报“Can't get the Kerberos realm”异常。 原因分析 在Driver端打印异常找不到连接HDFS的Token信息，报错如下：

查看更多 →

当前 MRS 提供以下Spark2x相关样例工程： 表1 Spark2x相关样例工程 样例工程位置 描述 sparksecurity-examples/SparkHbasetoCarbonJavaExample Spark同步HBase数据到CarbonData的Java示例程序。 本示例工程中，

查看更多 →

viewaccesscontrol.enable值为true；添加参数spark.ranger.plugin.viewaccesscontrol.enable=true到客户端目录下Spark2x/spark/conf/spark-defaults.conf 配置文件中；重启JDBCserver实例）

查看更多 →

Spark任务运行失败 问题现象 报错显示executor出现OOM。 失败的task信息显示失败原因是lost task xxx。 原因分析 问题1：一般出现executor OOM，都是因为数据量过大，也有可能是因为同一个executor上面同时运行的task太多。 问题2：

查看更多 →

return …; } } 运行错误示例，在Spark的local模式下能正常运行，而在分布式模式情况下，会在蓝色代码处报错，提示空指针异常，这是由于在分布式模式下，执行程序的jar包会被发送到每个Executor上执行，当执行到testFun函数时，需要从内存中取出testA

查看更多 →

回答 当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作：

查看更多 →

回答 当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作：

查看更多 →

发这些任务到Executor。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on

查看更多 →

MRS的Storm与HBase组件实现交互的示例程序。实现提交Storm拓扑将数据存储到HBase的WordCount表中。 storm-hdfs-examples MRS的Storm与HDFS组件实现交互的示例程序。实现提交Storm拓扑数据存储到HDFS的功能。 storm-jdbc-examples

查看更多 →

回答 当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作：

查看更多 →

发这些任务到Executor。 Executor执行这些Task，将具体RDD的数据写入到步骤1创建的目录下。 Spark和YARN的关系 Spark的计算调度方式，可以通过YARN的模式实现。Spark共享YARN集群提供丰富的计算资源，将任务分布式的运行起来。Spark on

查看更多 →

MRS集群是否支持Hive on Spark？ 问： MRS集群是否支持Hive on Spark？ 答： MRS 1.9.x版本集群支持Hive on Spark。 MRS 3.x及之后版本的集群支持Hive on Spark。 其他版本可使用Hive on Tez替代。 父主题：

查看更多 →

r节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。 使用cluster2中的Spark2x客户端下“conf”目录的hbase-site.xml文件，替换到cluster1中的Spark2x客户端下“conf”目录hbase-site

查看更多 →

回答 当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作：

查看更多 →

r节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。 使用cluster2中的Spark2x客户端下“conf”目录的hbase-site.xml文件，替换到cluster1中的Spark2x客户端下“conf”目录hbase-site

查看更多 →

请求方式：GET 服务功能验证 任务提交验证：将以下地址中的ip和端口修改为实际部署ip和端口，配置正确的数据库连接信息，在数据库中创建user表，并填入任意测试数据，如下述案例表示查询本地mysql的demo库中的user表，并将user表中的数据同步到user1表。 请求地址：h

查看更多 →

永洪BI对接 DLI 提交Spark作业 永洪BI对接准备工作 永洪BI添加数据源 永洪BI创建数据集 永洪BI制作图表 父主题： 数据分析

查看更多 →

为什么CDL任务执行后Hudi中没有接收到数据 现象描述 抓取数据到Hudi中的CDL任务运行后，Kafka中有相关数据，Spark的RDD处理中无记录，Hudi中没有相关数据，并且Yarn日志报错：TopicAuthorizationException: No authorized

查看更多 →

”和“/dev/urandom”。当熵池为空时，来自“/dev/random”的读操作将被阻塞，直到熵池收集到足够的环境噪声数据，导致提交任务慢或者失败。 处理步骤 在集群外客户端所在节点执行以下命令安装rng-tools工具： yum install rng-tools 执行以下命令启动rng-tools：

查看更多 →