如何使用PySpark连接MRS Spark?
问:
如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群?
答:
将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase.enabled”修改为“true”,然后使用spark-submit --master yarn --keytab keytabfile --principal principal指定Kerberos认证文件。