# MRS集群运维说明 #### 账户维护建议 建议系统管理员对账户例行检查，检查的内容包括： - 操作系统、Manager以及各组件的账户是否有必要，临时账户是否已删除。 - 各类账户的权限是否合理。不同的管理员拥有不同的权限。 - 对各类账户的登录、操作记录进行检查和审计。 #### 密码维护建议 用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。 对密码的维护建议如下： - 专人保管操作系统密码。 - 密码需要满足一定的强度要求，例如密码最少字符数、混合大小写等。 - 密码传递时注意加密，尽量避免通过邮件传递密码。 - 密码需要加密存储。 - 系统移交时提醒企业用户更改密码。 - 定期修改密码。 #### 日志维护建议 利用日志记录来帮助发现非法操作、非法登录用户等异常情况。系统对于重要业务的操作需要记录日志。通过日志文件来定位异常。 - 定期检查日志 定期查看系统日志，若发现有非法操作、非法登录用户等异常情况，应根据异常情况进行相应的处理。 - 定期备份日志 Manager和集群提供的审计日志记录了用户活动信息和操作信息，可通过Manager导出审计日志。当系统中的审计日志过多时，可通过配置转储参数，将审计日志转储到指定服务器，避免引起集群节点磁盘空间不足。 - 维护责任人 网络监控工程师、系统维护工程师。 #### Manager例行维护 为了保证系统长期正常、稳定的运行，管理员或维护工程师需要定期对下表所示的项目进行检查，并根据检查出的异常结果排除故障。建议检查人员根据企业管理规范，记录每个任务场景的结果并签名确认。 表1项目一览表 | 例行维护周期 | 任务场景 | 例行维护内容 | |:---|:---|:---| | 每天 | 检查集群服务状态 | - 检查每个服务的运行状态和配置状态是否正常，是否为绿色。 - 检查每个服务中，角色实例的运行状态和配置状态是否正常，是否为绿色。 - 检查每个服务中，角色实例的主备状态是否可以正常显示。 - 检查服务与角色实例的"概览"显示结果是否正常。 | | 每天 | 检查集群主机状态 | - 检查每个主机当前的运行状态是否正常，是否为绿色。 - 检查每个主机当前的磁盘使用率、内存使用率和CPU使用率。关注当前内存与CPU使用率是否处于上升趋势。 | | 每天 | 检查集群告警信息 | 检查前一天是否生成了未处理异常告警，包含已自动恢复的告警。 | | 每天 | 检查集群审计信息 | 检查前一天是否有"高危"和"危险"的操作，是否已确认操作的合法性。 | | 每天 | 检查集群备份情况 | 检查前一天OMS、LDAP、DBService和NameNode数据是否自动备份。 | | 每天 | 检查健康检查结果 | 在Manager执行健康检查，下载健康检查报告确认当前集群是否存在异常状态。建议启用自动健康检查，并及时导出最新的集群健康检查结果，根据检查结果修复不健康项目。 | | 每天 | 检查网络通讯 | 检查集群网络工作状态，节点之间的网络通讯是否存在延时。 | | 每天 | 检查存储状态 | 检查集群总体数据存储量是否出现了突然的增长： - 磁盘使用量是否已接近阈值，排查原因，例如是否有业务留下的垃圾数据或冷数据需要清理。 - 业务是否有增长需求，磁盘分区是否需要扩容。 | | 每天 | 检查日志情况 | - 检查是否有失败、失去响应的MapReduce、Spark任务，查看HDFS中"/tmp/logs/${username}/logs/${application id}"日志文件并排除问题。 - 检查Yarn的任务日志，查看失败、失去响应的任务日志，并删除重复数据。 - 检查Storm的worker日志。 - 备份日志到存储服务器。 | | 每周 | 用户管理 | 检查用户密码是否将要过期并通知修改。"机机用户"用户修改密码需要重新下载keytab文件。 | | 每周 | 分析告警 | 导出指定周期内产生的告警并分析。 | | 每周 | 扫描磁盘 | 对磁盘健康状态进行检查，建议使用专门的磁盘检查工具。 | | 每周 | 统计存储 | 分批次排查集群节点磁盘数据是否均匀存储，筛选出明显数据增加或不足的硬盘，并确认硬盘是否正常。 | | 每周 | 记录变更 | 安排并记录对集群配置参数和文件实施的操作，为故障分析处理场景提供依据。 | | 每月 | 分析日志 | - 收集集群节点服务器的硬件日志，例如BMC系统日志，并进行分析。 - 收集集群节点服务器的操作系统日志，并进行分析。 - 收集集群日志，并进行分析。 | | 每月 | 诊断网络 | 对集群的网络健康状态进行分析。 | | 每月 | 管理硬件 | 检查设备运行的机房环境，安排清洁设备。 |