下载MRS集群日志
在MRS集群运维过程中,当集群服务出现异常或需要排查问题时,管理员通常需要收集多个节点的服务日志进行分析。如果手工逐个登录节点获取日志,不仅效率低下,还容易遗漏关键日志文件。Manager提供了批量日志下载功能,支持一键导出各个服务角色所有实例生成的日志,无需手工登录单个节点获取,并可指定时间范围和服务范围进行精准收集。
本章节指导用户通过Manager下载MRS集群日志。
相关概念
- AK/SK: AK(Access Key ID)和SK(Secret Access Key)是华为云的访问密钥,用于标识用户身份并进行API请求的签名认证。在MRS 3.x之前版本中,日志上传到OBS需要使用AK/SK进行身份验证。
- OBS(Object Storage Service): 华为云对象存储服务,提供海量、安全、高可靠、低成本的数据存储能力。
- 并行文件系统: OBS提供的一种经过优化的对象存储桶类型,支持并行文件系统的挂载和类似文件系统的操作方式,适用于大数据分析等场景。
- 拓扑信息: Manager在下载日志时会自动生成集群拓扑文件,记录各节点的IP地址、主机名及所安装的服务实例信息,方便用户在分析日志时了解集群拓扑结构。
前提条件
- 对于MRS 3.x之前版本的集群,日志上传到OBS时,需要已获取账号对应的AK和SK,且已在OBS中创建了并行文件系统。
- 建议在业务低峰期执行日志下载操作,避免日志收集过程占用集群资源影响业务运行。
下载MRS集群日志(MRS 3.x及之后版本)
日志下载会收集指定范围内的所有服务日志,日志文件可能较大(尤其是时间跨度较大时),下载过程会占用网络带宽和本地存储空间。建议合理设置时间范围,避免一次性下载过多日志。
- 登录MRS集群Manager界面。
登录集群Manager界面请参考访问MRS集群Manager。
- 选择。
- 选择日志下载范围。
表1 日志下载参数说明 参数
说明
服务
可选,单击勾选所需下载日志的服务。不选则默认下载所有服务的日志。
主机
可选,填写服务所部署主机的IP,也可单击勾选所需主机。不填则默认下载所有主机的日志。
最大并发数
可选,设置日志收集时的最大节点并发数量,影响日志收集速度,MRS 3.3.0及之后版本支持该参数。
开始时间
设置日志收集的起始时间,单击右上角图标设置。
结束时间
设置日志收集的结束时间,单击右上角图标设置。
- 单击“下载”完成日志下载。
下载的日志压缩包中会包括对应开始时间和结束时间的拓扑信息,方便查看与定位。
拓扑文件以“topo_<拓扑结构变化时间点>.txt”命名。文件内容包括节点IP、节点主机名以及节点所安装的服务实例(OMS节点以“Manager:Manager”标识)。
例如:
192.168.204.124|suse-124|DBService:DBServer;KrbClient:KerberosClient;LdapClient:SlapdClient;LdapServer:SlapdServer;Manager:Manager;meta:meta
下载完成后,检查本地是否成功接收到日志压缩包文件。解压后查看拓扑文件(topo_*.txt)内容是否包含各节点信息,确认日志文件是否包含指定时间范围内的服务日志。
若下载失败,请在Manager界面查看下载任务状态和错误信息。
下载MRS集群日志(MRS 3.x之前版本)
- 用户已经获取账号对应的Access Key ID(AK)和Secret Access Key(SK)。
- 用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。
- 登录MRS集群Manager界面,具体请参见访问MRS集群Manager,单击“系统设置”。
- 单击“维护”下方的“日志导出”。
- “服务”选择服务,“主机”填写服务所部署主机的IP,“开始时间”与“结束时间”选择对应的开始与结束时间。
- 在“导出类型”选择一个日志保存的位置。
只有启用了Kerberos认证的集群支持选择,未启用Kerberos认证的集群默认下载到本地。
表2 导出类型说明 导出类型
说明
后续操作
下载到本地
将日志保存到用户当前的本地环境。
直接完成下载。
上传到OBS
将日志保存到OBS中。
需配置OBS路径、桶名、AK和SK参数,继续执行步骤 5。
- 在“OBS路径”填写服务日志在OBS保存的路径。
表3 日志下载参数说明 参数
说明
OBS路径
填写服务日志在OBS中保存的路径。需要填写完整路径且不能以“/”开头,路径可以不存在,系统将自动创建。OBS的完整路径最大支持900个字节。
桶名
输入已创建的OBS文件系统(并行文件系统)名称。
AK
输入用户的Access Key ID。获取方式请参考如何获取访问密钥AK/SK。
SK
输入用户的Secret Access Key。获取方式请参考如何获取访问密钥AK/SK。
- 单击“确定”完成日志下载。
若选择下载到本地,检查本地是否成功接收到日志压缩包文件。若选择上传到OBS,登录OBS管理控制台,在对应的并行文件系统中确认日志文件是否已上传成功。若操作失败,请在Manager界面查看错误信息并排查原因。
相关文档
- 如需了解MRS集群Manager界面的访问方式,请参考访问MRS集群Manager。
- 如需查看集群告警信息以关联分析日志问题,请参考查看MRS集群告警。
- 如需了解如何获取访问密钥AK/SK,请参考如何获取访问密钥AK/SK。
- 如需了解华为云对象存储服务(OBS)的使用方法,请参考对象存储服务用户指南。
常见问题
Q:日志下载失败提示磁盘空间不足如何处理?
A:日志收集过程中需要临时占用节点的磁盘空间,请清理节点上的冗余文件或扩大磁盘容量后重试。
Q:下载的日志压缩包中包含哪些内容?
A:压缩包中包含指定时间范围内所选服务和主机的日志文件,以及集群拓扑信息文件(topo_*.txt),拓扑文件记录了各节点的IP、主机名和服务实例信息。
Q:上传日志到OBS失败如何排查?
A:请检查AK/SK是否正确、OBS并行文件系统是否存在、OBS路径是否符合规范,并确认网络连通性正常。
Q:如何下载所有服务的日志?
A:在“服务”参数不勾选任何服务即默认下载所有服务日志。建议缩小时间范围以避免日志文件过大。