如何在Spark命令中指定参数值
问题
如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值?
回答
Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。
在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如:
--conf spark.eventQueue.size=50000
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值?
Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。
在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。在--conf后添加参数名称及其参数值,例如:
--conf spark.eventQueue.size=50000