cket,server=y,suspend=y,address=5006，这个调试命令在启动Spark程序时要用到。 执行以下命令，远端启动Spark运行SparkPi。 ./spark-submit --master yarn-client --driver-java-options

查看更多 →

cket,server=y,suspend=y,address=5006，这个调试命令在启动Spark程序时要用到。 执行以下命令，远端启动Spark运行SparkPi。 ./spark-submit --master yarn-client --driver-java-options

查看更多 →

cket,server=y,suspend=y,address=5006，这个调试命令在启动Spark程序时要用到。 执行以下命令，远端启动Spark运行SparkPi。 ./spark-submit --master yarn-client --driver-java-options

查看更多 →

Spark Job对应的运行日志保存在哪里？ 问： Spark Job对应的运行日志保存在哪里？ 答： Spark Job没有完成的任务日志保存在Core节点的“/srv/BigData/hadoop/data1/nm/containerlogs/”目录内。 Spark Job完

查看更多 →

引入jar包不正确导致Spark任务无法运行 问题现象 执行Spark任务，任务无法运行。 原因分析 执行Spark任务时，引入的jar包不正确，导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/ MRS _*/install/F

查看更多 →

在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

按下开发板的复位RESET按钮，可以看到串口输出了Huawei LiteOS启动后运行“Kernel Task Demo”的打印信息，其中“Huawei LiteOS #”是Shell交互界面的提示符，如下图所示：Huawei LiteOS默认打开了Shell组件，可以在串口工具中输入支持的Shell命令，再勾选“加回车换行”，点击“发送

查看更多 →

烧录成功后，点击串口终端图标打开串口终端界面，设置端口（请根据实际使用的串口端口号进行设置），开启串口开关，开发板按下复位RESET按钮，可以看到串口输出，接收区输出的内容就是Huawei LiteOS启动后运行“Kernel Task Demo”的输出，如下图所示：Huawei LiteOS默认打开了Shell组件，可以在串口终端的“发

查看更多 →

Huawei LiteOS Studio通过“烧录”功能启动QEMU虚拟机运行Huawei LiteOS。如何配置“烧录器”并运行Huawei LiteOS，可以参考启动realview-pbx-a9仿真工程。烧录成功后，自动启动Huawei LiteOS，可以在“终端”界面中看

查看更多 →

cket,server=y,suspend=y,address=5006，这个调试命令在启动Spark程序时要用到。 执行以下命令，远端启动Spark运行SparkPi。 ./spark-submit --master yarn-client --driver-java-options

查看更多 →

在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。

查看更多 →

可以参考如下命令，通过QEMU启动guest虚拟机运行Huawei LiteOS，因为realview-pbx-a9工程默认使能了SMP（多核），所以启动虚拟机时也需要设置-smp参数：$ qemu-system-arm -machine realview-pbx-a9 -smp 4 -m 512M -kernel out/realvie

查看更多 →

由于Kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf

查看更多 →

提交Spark任务时Driver端提示运行内存超限 问题背景与现象 运行内存超限导致提交Spark任务失败。 原因分析 在Driver日志中直接打印申请的executor memory超过集群限制。 ... INFO Client: Verifying our application

查看更多 →

由于Kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf

查看更多 →

运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。

查看更多 →

由于Kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf

查看更多 →

将2中生成的Jar包（如CollectFemaleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 在Spark应用执行过程中NodeManager出现OOM异常 安全集群使用HiBench工具运行sparkbench获取不到realm 父主题： Spark2x常见问题

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →