Spark Streaming任务提交问题 问题现象 连接Kafka报类找不到。 连接带Kerberos的Kafka，报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1：Spark提交任务默认不会加载kafka的相关包，所以需

查看更多 →

使用代理用户提交Spark作业 本章节仅适用 MRS 3.3.0及之后版本。 场景说明 提交Spark任务时，用户可以使用当前实际运行用户提交任务，也可以使用代理用户提交任务。本章节介绍如何开启代理用户提交任务。 前提条件 创建用户，登录Manager页面，选择“系统 > 权限 >

查看更多 →

处理步骤 登录任意Master节点。 修改Spark客户端目录下的配置文件。 执行vim 客户端安装目录/Spark/spark/conf/spark-defaults.conf命令，打开spark-defaults.conf文件，设置“spark.executor.extraClassPath”

查看更多 →

key spark.dli.user.projectId 参考获取项目ID获取项目ID。 以下参数为可选参数，请根据参数说明和实际情况配置。详细参数说明请参考Spark Configuration。 表2 spark-defaults.conf可选参数说明 Spark作业参数 对应Spark批处理参数

查看更多 →

Spark常用命令介绍 Spark命令详细的使用方法参考官方网站的描述：http://spark.apache.org/docs/latest/quick-start.html。 常用命令 Shell命令执行方法： 进入Spark客户端目录。 初始化环境变量。 source /o

查看更多 →

运行效率。 将“spark-defaults.conf”中的“spark.executor.instance”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_INSTANCES”配置项设置为合适大小。 在使用spark-submit命令时，添加“--num-executors

查看更多 →

快速配置Spark参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。

查看更多 →

运行效率。 将“spark-defaults.conf”中的“spark.executor.instance”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_INSTANCES”配置项设置为合适大小。 在使用spark-submit命令时，添加“--num-executors

查看更多 →

Shell命令如何引用参数设置中的参数 操作步骤如下： 在参数设置中添加需要用到的参数。 在执行Shell命令窗口使用“${}”引用该参数。 查看部署结果。 父主题： 执行shell命令

查看更多 →

PowerShell命令如何引用参数设置中的参数 操作步骤如下： 在参数设置中添加需要用到的参数。 在执行PowerShell命令窗口使用“${}”引用该参数。 查看部署结果，如下图所示。 图1 部署结果 父主题： 执行PowerShell命令

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 set hoodie.tableName.consume.mode=INCREMENT

查看更多 →

永洪BI对接 DLI 提交Spark作业 永洪BI对接准备工作 永洪BI添加数据源 永洪BI创建数据集 永洪BI制作图表 父主题： 数据分析

查看更多 →

cd Spark2x/spark/bin sh spark-submit --queue tenant_spark --class org.apache.spark.examples.SparkPi --master yarn-client ../examples/jars/spark-examples_*

查看更多 →

Sqoop常用命令及参数介绍 Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群 export 集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果

查看更多 →

执行Docker命令参数错误 问题现象 日志信息提示“requires exactly 1 argument”。 日志信息提示“unknown shorthand flag”。 原因分析 部署“执行Docker命令”步骤时，命令中的参数未填写或填写错误。 处理方法 需要部署参数的应用，确

查看更多 →

Sqoop常用命令及参数介绍 更多Sqoop命令参数请参考Sqoop官方文档：https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群

查看更多 →

key：访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 spark-submit --master yarn--deploy-mode cluster 表2 Spark作业运行程序参数 参数 描述 示例 --conf 添加任务的配置项。 spark.executor

查看更多 →

key：通过AK/SK方式访问OBS时访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 mrs-spark-sql-wrapper -e 表2 运行程序参数 参数 描述 示例 --conf 添加任务的配置项。 spark.executor.memory=2G --driver-memory

查看更多 →

使用Hue提交Oozie Spark2x作业 操作场景 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Spark 程序”按钮，将其拖到操作区中。 在弹出的“Spark”窗口配置“F

查看更多 →