配置TimelineServer支持HA
操作场景
TimelineServer作为Yarn服务的一个角色,负责存储和管理Yarn应用的历史信息,MRS 3.2.0-LTS.1及之后版本支持TimelineServer HA模式。TimelineServer单节点部署时,一旦发生故障将导致Yarn历史信息服务不可用。开启HA模式后,通过多实例部署消除单点故障,保障服务持续可用。在大型生产集群中运行大量Yarn作业时,可以开启TimelineServer HA可确保单节点故障时服务不中断,满足业务连续性要求。
约束与限制
- 该功能适用于MRS 3.2.0-LTS.1及之后版本。
- TimelineServer会将数据保存到内存数据库LevelDB中,占用大量内存,安装TimelineServer的节点内存至少需要预留30GB。
对系统的影响
转换过程中,依赖TimelineServer角色会出现配置过期,需要重启配置过期的实例。
配置TimelineServer HA
- 登录MRS集群Manager界面,选择“集群 > 服务 > Yarn > 配置”,打开Yarn服务配置页面。
登录集群Manager具体操作,请参考访问MRS集群Manager。
- 修改配置项“TLS_FLOAT_IP”的值为一个可用的浮动IP(浮动IP与两个TimelineServer实例的业务IP需要在同一个网段),然后选择“保存 > 确定”,保存配置成功。
“TLS_FLOAT_IP”参数表示TimelineServer使用的浮动IP,配置在业务平面。IP地址必须唯一且未被使用,需要确保TimelineServer实例主备节点的业务IP地址和浮动IP处于同一网络平面。修改该配置后,请尽快重启TimelineServer实例以生效,否则将导致TimelineServer原生界面中已完成任务的链接跳转失败。
- 选择“实例 > 添加实例”,选择一个节点添加TimelineServer实例,选择“下一步 > 下一步 > 提交”,添加实例成功。
- 进入Manager主页,单击集群的名称后的
,选择“重启配置过期的实例”,等待重启实例成功。 MRS 3.3.0及之后版本的Manager界面中,可在“主页”界面的“更多”中选择“重启配置过期的实例”。
重启TimelineServer实例过程中,TimelineServer原生页面不可访问,如果TimelineServer实例长时间停止,可能导致ResourceManager事件堆积,内存占用升高。
- 查看重启后的各实例状态,例如TimelineServer实例的主备显示和运行状态正常。
常见问题
- ResourceManager日志显示TimelineServer数据目录数量到达上限打印大量错误日志,详细处理操作请参见TimelineServer目录文件数量到达上限。
- 如果TimeLineServer进程状态异常,上报“ALM-18028 TimeLineServer进程状态异常”告警,请参考ALM-18028 TimeLineServer进程状态异常。
相关文档
如果启动角色后实例状态异常,请参考查看MRS集群组件监控指标查看组件运行状态和日志。