使用Hue提交Oozie Spark2x作业 操作场景 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Spark 程序”按钮，将其拖到操作区中。 在弹出的“Spark”窗口配置“F

查看更多 →

使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

提交 当您对代码进行一些更改时，您需要将它们提交到本地项目存储库，然后将它们推送到远程存储库，以便团队成员可以使用。 在提交之前，请确保您的Git配置中设置了用户名和/或电子邮件。否则，Git将使用本地计算机上的信息。您可以在Git提交信息中找到详细信息。 通过将更改添加到暂存区

查看更多 →

SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。

查看更多 →

配置。 在提交应用程序运行时，在命令中添加如下参数即可，详细示例可参考在Linux环境中调测Spark应用。 --jars $SPARK_CLIENT_HOME/jars/streamingClient010/kafka-client-2.4.0.jar,$SPARK_CLIEN

查看更多 →

置。 在提交应用程序运行时，在命令中添加如下参数即可，详细示例可参考在Linux环境中编包并运行Spark程序。 --jars $SPARK_CLIENT_HOME/jars/streamingClient010/kafka-client-2.4.0.jar,$SPARK_CLI

查看更多 →

置。 在提交应用程序运行时，在命令中添加如下参数即可，详细示例可参考在Linux环境中编包并运行Spark程序。 --jars $SPARK_CLIENT_HOME/jars/streamingClient010/kafka-client-2.4.0.jar,$SPARK_CLI

查看更多 →

配置。 在提交应用程序运行时，在命令中添加如下参数即可，详细示例可参考在Linux环境中调测Spark应用。 --jars $SPARK_CLIENT_HOME/jars/streamingClient010/kafka-clients-2.4.0.jar,$SPARK_CLIE

查看更多 →

this message and exit. 表1 参数说明 参数名 参数类型 是否必选 参数说明 -i / --job-id String 是 DLI Spark作业ID。 -y / --yes Bool 否 强制关闭指定DLI Spark作业。 示例 ma-cli dli-job stop

查看更多 →

执行Docker命令参数错误 问题现象 日志信息提示“requires exactly 1 argument”。 日志信息提示“unknown shorthand flag”。 原因分析 部署“执行Docker命令”步骤时，命令中的参数未填写或填写错误。 处理方法 需要部署参数的应用，确

查看更多 →

Sqoop常用命令及参数介绍 Sqoop常用命令介绍 表1 Sqoop常用命令介绍 命令 说明 import 数据导入到集群 export 集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果

查看更多 →

使用Oozie客户端提交Spark2x任务 操作场景 该任务指导用户在使用Oozie客户端提交Spark2x任务。 请下载使用最新版本的客户端。 前提条件 Spark2x和Oozie组件安装完成且运行正常，客户端安装成功。 如果当前客户端为旧版本，需要重新下载和安装客户端。 已创

查看更多 →

选择样例工程文件夹，单击“OK”。 修改样例工程中的如下参数，请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \src\main\resources\job.properties userName 提交作业的用户 developuser \src\main\r

查看更多 →

this message and exit. 表1 参数说明 参数名 参数类型 是否必选 参数说明 -i / --job-id String 是 查询指定DLI Spark作业ID的任务日志。 示例 查询指定作业ID的DLI Spark作业运行日志。 ma-cli dli-job get-log

查看更多 →

提交Spark任务时连接ResourceManager异常 问题背景与现象 连接ResourceManager异常，导致Spark任务提交失败。 原因分析 在Driver端打印异常如下，打印连接两个ResourceManager主备节点的26004端口均被拒绝： 15/08/19

查看更多 →

选择样例工程文件夹，单击“OK”。 修改样例工程中的如下参数，请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \src\main\resources\job.properties userName 提交作业的用户 developuser \src\main\r

查看更多 →

使用Oozie客户端提交Spark2x任务 操作场景 该任务指导用户在使用Oozie客户端提交Spark2x任务。 请下载使用最新版本的客户端。 前提条件 Spark2x和Oozie组件安装完成且运行正常，客户端安装成功。 如果当前客户端为旧版本，需要重新下载和安装客户端。 已创

查看更多 →

zieSparkHBaseExample和OozieSparkHiveExample三个样例工程。 在应用开发环境中，导入样例工程到IDEA开发环境。 选择“File > Open”，弹出“浏览文件夹”对话框。 选择样例工程文件夹，单击“OK”。 修改样例工程中的如下参数，请参考表1。

查看更多 →

端日志。例如：执行命令 spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client /opt/client/Spark/spark/examples/jars/spark-examples_2

查看更多 →

选择样例工程文件夹，单击“OK”。 修改样例工程中的如下参数，请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \src\main\resources\job.properties userName 提交作业的用户 developuser \src\main\r

查看更多 →

-D表示是否开启debug模式（默认关闭），当开启debug模式后，命令的报错堆栈信息将会打印出来，否则只会打印报错信息； -h表示显示命令的帮助提示信息。 命令说明 表1 ma-cli支持的命令 命令 命令详情 configure ma-cli鉴权命令，支持用户名密码、AK/SK image Mod

查看更多 →