配置多租户模式
配置场景
多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。
集群资源处于长期不足情况下,建议使用Spark多主实例模式.
配置描述
登录Manager,选择“集群 > 服务 > Spark > 配置”,单击“全部配置”,搜索并修改以下参数。
参数 |
说明 |
默认值 |
---|---|---|
spark.proxyserver.hash.enabled |
是否使用Hash算法连接ProxyServer。
|
true
说明:
该参数修改后需要重新下载客户端。 |
spark.thriftserver.proxy.enabled |
是否使用多租户模式。
|
true |
spark.thriftserver.proxy.maxThriftServerPerTenancy |
多租户模式下,一个租户可启动JDBCServer实例的最大个数。 |
1 |
spark.thriftserver.proxy.maxSessionPerThriftServer |
多租户模式下,单个JDBCServer实例的session数量超过该值时,如果租户的JDBCServer最大实例数量没超过限制,则启动新的JDBCServer,否则输出警告日志。 |
50 |
spark.thriftserver.proxy.sessionWaitTime |
多租户模式下,当JDBCServer的session连接数为0时,停止JDBCServer前的等待时间。 |
180000 |
spark.thriftserver.proxy.sessionThreshold |
多租户模式下,当JDBCServer的session使用率(公式:当前session数 / (spark.thriftserver.proxy.maxSessionPerThriftServer * 当前JDBCServer个数))达到阈值时,自动新增JDBCServer。 |
100 |
spark.thriftserver.proxy.healthcheck.period |
多租户模式下,JDBCServer代理检查JDBCServer健康状态周期。 |
60000 |
spark.thriftserver.proxy.healthcheck.recheckTimes |
多租户模式下,JDBCServer代理检查JDBCServer健康状态失败后重试次数。 |
3 |
spark.thriftserver.proxy.healthcheck.waitTime |
多租户模式下,JDBCServer代理发送健康检查,等待JDBCServer响应的超时时间。 |
10000 |
spark.thriftserver.proxy.session.check.interval |
多租户模式下,JDBCServer代理检查session的周期。 |
6h |
spark.thriftserver.proxy.idle.session.timeout |
多租户模式下,JDBCServer代理session的空闲超时时间。如果在这段时间内没有做任何操作,session会被关闭。 |
7d |
spark.thriftserver.proxy.idle.session.check.operation |
多租户模式下,JDBCServer代理session的过期是否要判断该session上还存在operation。 |
true |
spark.thriftserver.proxy.idle.operation.timeout |
多租户模式下,operation的超时时间。如果operation超时,operation会被关闭。 |
5d |
hive.spark.client.server.connect.timeout |
多租户模式下,客户端连接超时时间。 |
5min |