配置MRS集群审计日志转储
在MRS集群运维中,Manager会自动记录所有用户操作和管理行为的审计日志,用于安全审计和操作追溯。默认情况下审计日志保存在Manager数据库中,随着集群运行时间增长,审计日志持续累积,可能导致数据目录磁盘空间不足,影响集群正常运行。管理员需要将审计日志定期转储到外部归档服务器(如SFTP服务器或OBS)中,以释放本地磁盘空间并长期保存审计日志。本文介绍如何配置MRS集群审计日志转储至SFTP服务器或OBS。
- 审计日志:记录MRS集群中所有用户操作和管理行为的日志,包括登录、配置修改、服务启停等操作的操作人、操作时间、操作内容和操作结果,用于安全审计。
- 转储:将审计日志从Manager数据库自动导出到外部服务器(SFTP或OBS)的过程。转储后,已归档的日志将从数据库中清除,释放本地存储空间。
- 服务审计日志:记录MRS集群中各组件服务层面操作的日志,每天自动压缩存储。
- 管理审计日志:记录Manager层面管理操作的日志,如用户登录、权限变更、配置修改等。
若用户未配置审计日志转储,当审计日志达到10万条,系统自动将这10万条审计日志保存到文件中。保存路径为主管理节点的“${BIGDATA_DATA_HOME}/dbdata_om/dumpData/iam/operatelog”,保存的文件名格式为“OperateLog_store_YY_MM_DD_HH_MM_SS.csv”,保存的审计日志历史文件数最大为50。
审计日志自动保存后,已归档的审计日志将不会在Manager界面中展示,Manager中可见的审计日志范围为上一次自动保存后至当前的审计日志内容。
约束与限制
- MRS 3.x及之后版本集群支持配置审计日志转储至SFTP服务器。
- MRS 3.x之前版本集群支持配置审计日志转储至OBS文件系统。
配置审计日志转储至SFTP服务器
- 登录MRS集群Manager界面。
登录集群Manager界面请参考访问MRS集群Manager。
- 选择。
- 单击“审计日志转储”右侧的开关。
“审计日志转储”默认为不启用,开关显示为
表示启用。 - 根据表1填写转储参数。 图1 转储参数
表1 审计日志转储参数 参数
示例
参数说明
SFTP IP 模式
IPv4
目标IP的IP地址模式,可选择“IPv4”或者“IPv6”。
SFTP IP
192.168.xxx.xxx
指定审计日志转储后存放的SFTP服务器,建议使用基于SSH v2的SFTP服务,否则存在安全风险。
SFTP端口
22
指定审计日志转储后存放的SFTP服务器连接端口。
保存路径
/opt/omm/oms/auditLog
指定SFTP服务器上保存审计日志的路径。
SFTP用户名
root
指定登录SFTP服务器的用户名。
SFTP密码
-
指定登录SFTP服务器的密码。
SFTP公共密钥
-
可选参数,指定SFTP服务器的公共密钥,建议配置SFTP的公共密钥,否则可能存在安全风险。
转储模式
按数量
指定转储模式
- “按数量”:日志到达指定条数(默认10万条)时开始转储
- “按时间”:指定某一日期开始转储,转储频率为一年一次。
转储日期
11-06
当选择“按时间”转储模式时可用。选择一个转储日期后,系统将在此日期开始转储。转储的日志范围为当前年份1月1日0时之前的所有审计日志。
SFTP公共密钥为空时,系统将进行安全风险提示,确定安全风险后再保存配置。
- 单击“确定”,设置完成。 审计日志转储文件关键字段参考:
- “USERTYPE”表示用户类型,“0”表示“人机”用户,“1”表示“机机”用户。
- “LOGLEVEL”表示安全级别,“0”表示高危,“1”表示危险,“2”表示一般,“3”表示提示。
- “OPERATERESULT”表示操作结果,“0”表示成功,“1”表示失败。
验证操作:
配置完成后,等待审计日志达到转储条件(按数量模式为达到10万条,按时间模式为到达指定日期),然后登录SFTP服务器,检查指定的目录下是否生成了审计日志转储文件。若文件已生成且内容不为空,则表示转储配置成功。
配置审计日志转储至OBS
MRS的审计日志长期保留在系统中,可能引起数据目录的磁盘空间不足问题,故通过设置导出参数及时将审计日志自动导出到OBS服务器的指定目录下,便于管理审计日志信息。
审计日志导出到OBS服务器的内容包含两部分,服务审计日志和管理审计日志。
- MRS 3.x之前版本集群,服务审计日志每天凌晨3点自动压缩存储到主管理节点“/var/log/Bigdata/audit/bk/”,保存的文件名格式为<yyyy-MM-dd_HH-mm-ss>.tar.gz。默认情况下,保存的文件个数为7份(即7天的日志),超过7份文件时会自动删除7天前的文件。
- 管理审计日志每次导出到OBS的数据范围是从最近一次成功导出到OBS的日期至本次执行任务的日期。管理审计日志每达到10万条时,系统自动将前9万条审计日志转储保存到本地文件中,数据库中保留1万条。转储的日志文件保存路径为主管理节点“${BIGDATA_DATA_HOME}/dbdata_om/dumpData/iam/operatelog”,保存的文件名格式为“OperateLog_store_YY_MM_DD_HH_MM_SS.csv”,保存的审计日志历史文件数最大为50个。
前提条件
- 用户已经获取账号对应的Access Key ID(AK)和Secret Access Key(SK)。
- 用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。
操作步骤
- 登录MRS集群Manager界面。
登录集群Manager界面请参考访问MRS集群Manager。
- 单击“系统设置”。
- 在“维护”下单击“审计日志导出”。
表2 审计日志导出参数 参数
示例
参数解释说明
审计日志导出
打开
必选参数,指定是否打开审计日志导出。
- 打开:启用审计日志导出。
- 关闭:禁用审计日志导出。
开始时间
07/24/2017 09:00:00
必选参数,指定审计日志导出的开始时间。
周期
1天
必选参数,指定审计日志转导出的时间间隔,间隔周期范围为(1~5天)。
桶名
mrs-bucket
必选参数,指定审计日志导出到OBS的文件系统名。
OBS路径
opt/omm/oms/auditLog
必选参数,指定审计日志导出到OBS的路径。
AK
-
必选参数,用户的Access Key ID。
SK
-
必选参数,用户的Secret Access Key。
审计日志在OBS的存储路径细分为service_auditlog和manager_auditlog,分别用于存储服务审计日志和管理审计日志。
验证操作:
配置完成后,等待到达设定的导出开始时间并经过一个周期后,登录OBS管理控制台,进入指定的文件系统路径下,检查service_auditlog和manager_auditlog目录中是否生成了审计日志文件。若文件已生成,则表示导出配置成功。
常见问题
- 审计日志转储失败
转储失败的常见原因包括:SFTP服务器不可达(网络不通或端口被拦截)、SFTP用户名或密码错误、保存路径不存在或无写入权限、OBS的AK/SK配置不正确或已过期、OBS桶不存在或已被删除。
请检查SFTP服务器网络连通性和认证信息是否正确,确保保存路径存在且有写入权限。若转储至OBS,请确认AK/SK有效且桶名称正确。排查后可在Manager中重新配置转储参数并等待下一次自动触发。
- 转储后日志在Manager中消失
审计日志转储后,已归档的审计日志将从数据库中清除,不会在Manager界面中展示。Manager中可见的审计日志范围仅为上一次自动保存后至当前的日志内容。这是正常行为,非异常情况。
如需查看已转储的历史审计日志,请登录SFTP服务器或OBS,在转储路径下查找对应时间段的审计日志文件进行查看。
- SFTP公共密钥未配置的安全风险
未配置SFTP公共密钥时,审计日志在传输过程中可能被截获或篡改,存在数据安全风险。系统会在保存配置时进行安全风险提示。
建议配置SFTP的公共密钥以确保传输安全,使用基于SSH v2的SFTP服务。若确需在无公共密钥的情况下使用,请确认网络环境安全后再保存配置。
相关文档
- 了解如何登录集群Manager界面,请参考访问MRS集群Manager。
- 了解如何查看审计日志,请参考查看查看MRS集群审计日志。
- 了解如何创建并行文件系统,请参考创建并行文件系统。