更新时间:2022-02-22 GMT+08:00
如何在Spark命令中指定参数值
问题
如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值?
回答
Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。
在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如:
--conf spark.eventQueue.size=50000
父主题: SQL和DataFrame