如何在Spark命令中指定参数值

问题

如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？

回答

Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。

在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。在--conf后添加参数名称及其参数值，例如：

--conf spark.eventQueue.size=50000