更新时间:2022-09-30 GMT+08:00

如何在Spark命令中指定参数值

问题

如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值?

回答

Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。

在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如:

--conf spark.eventQueue.size=50000