# 事件中心页面授权运维 #### 场景描述 华为云会对节点的软硬件设备进行故障检测和日常运维，当节点由于不可恢复故障需要进行硬件维护时，会推送计划事件到控制台的事件中心。您可以在事件中心，查看具体的事件信息、事件类型、事件状态、事件描述等信息，可以授权华为技术支持对故障节点进行运维或重部署节点。 表1事件操作执行条件 | 事件类型 | 事件状态 | 可执行操作 | 适用的资源类型 | 说明 | |:---|:---|:---|:---|:---| | 系统维护 | 待授权 | 维护机器、重部署 | Snt9b, Snt9b21 | **维护机器**操作需要对主机进行下电，在此期间节点将停止无法工作。在维护机器前，请确保节点中部署的业务离线或节点停止对业务无影响。 **重部署**操作对于包含本地盘的实例，实例重部署操作会丢失所有本地盘上的数据，如果无需保留本地盘上的数据，可通过重部署快速修复节点。 | | 本地盘恢复 | 待授权 | 更换本地盘、重部署 | Snt9b, Snt9b21 | **更换本地盘**操作会导致故障本地盘的数据可能部分或全部受损且不可恢复，建议您在收到事件通知时，立刻对重要数据进行备份。 本地盘修复后，请通过[重置节点](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0059.html#ZH-CN_TOPIC_0000001978826297__section73329114123)完成对分区的修复。 在本地盘修复期间，您可以随时选择**重部署**方式来快速恢复故障本地盘，但该方式将导致所有本地盘数据丢失并重启节点，操作前需要对所有本地盘数据进行备份。 警告： 更换本地盘操作将会导致本地盘数据丢失，授权前请先迁移业务和备份数据。 | | 运维授权 | 待授权 | 节点运维 | Snt9b, Snt9b21 | **节点运维**操作表示授权华为技术支持对Lite资源类型的节点进行运维操作 | | 节点重启 | 待授权 | 节点重启 | Snt9b, Snt9b21, Snt9b23 | **节点重启**操作会停止实例，可能导致业务中断，未保存的数据丢失，请提前确认业务影响。 | | 超节点维护 | 待授权 | 维护机器 | Snt9b23 | **维护机器**操作需要对主机进行下电，在此期间节点将停止无法工作。在维护机器前，请确保节点中部署的业务离线或节点停止对业务无影响。 | | 超节点重部署 | 待授权 | 重部署 | Snt9b23 | **重部署**操作大约耗时10\~30分钟，并且会重启节点，请选择合适的时间授权并提前进行业务切流。 - 重部署后，实例的系统盘和云硬盘类型的数据盘不受影响。 - 如果是强制重部署，实例的系统盘和本地盘类型的数据盘会丢失。 - 对于包含本地盘的实例，实例重部署后，实例的本地盘数据会被清空。为了保障数据安全，请在授权重部署前进行本地盘数据备份。 | | 超节点本地盘恢复 | 待授权 | 更换本地盘 | Snt9b23 | 当系统检测到超节点的本地盘因硬件故障、数据异常等原因导致无法正常读写时，会对受影响的节点自动生成"超节点本地盘恢复"计划事件。 本地盘修复后，请通过[重置节点](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0059.html#ZH-CN_TOPIC_0000001978826297__section73329114123)完成对分区的修复。 **更换本地盘**操作会导致故障本地盘的数据可能部分或全部受损且不可恢复，建议您在收到事件通知时，立刻对重要数据进行备份。 警告： 更换本地盘操作将会导致本地盘数据丢失，授权前请先迁移业务和备份数据。 | #### 概念解释 - 系统维护: 系统维护操作要对主机下电维修，需要运维人员在机房实际重新插拔设备或更换备机，有时需要等待备件，因此时效性相对较差。 - 重部署：重部署操作是授权华为技术支持对发生故障的节点进行整机替换，并能够确保节点的配置信息和之前保持一致。故障恢复快，但是重部署后本地盘数据将会丢失数据。请谨慎操作。重部署前请先迁移业务和备份数据。 - 静默修复：自动处理重部署失败场景，无需人工干预。 - 强制重部署：在节点不可用时强制执行替换，需清空所有存储数据。 - 冷备整机替换：使用备用硬件替换故障节点，保留配置信息。 - 本地盘：本地盘指的是server上安装的物理硬盘，重部署后，机器上安装的硬盘会同步被更换，因此数据会丢失。 - 云硬盘：云硬盘是为弹性云服务器（ECS）和裸金属服务器（BMS）提供的高可靠、高性能、规格丰富且可弹性扩展的虚拟块存储服务，不和具体server绑定。 - 系统盘：系统盘指的是节点上安装的Linux的内核、启动引导程序、系统配置文件等重要信息的硬盘，大多是云硬盘。 #### 约束限制 - 当前中国站所有站点均支持此功能，国际站部分站点（香港、约翰内斯堡和新加坡）站点支持此功能。 - 仅Snt9b、超节点Snt9b21和超节点Snt9b23支持通过计划事件发起硬件维护。 - 超节点重部署需要在物理超节点内操作。当超节点Snt9b23达到满配48台时，不支持重部署操作，该情况下会直接推送超节点系统维护计划事件。 - 如果计划事件不满足[表1]所示的事件状态，授权处理按钮为置灰状态。 - 轻量算力节点授权"超节点重部署"事件前，您需要先在"轻量算力节点页面"停止轻量算力节点实例，否则会授权失败。事件执行完成后，再重新启动Server实例。 - 节点本地盘恢复和超节点本地盘恢复操作将会导致本地盘数据丢失，授权前请先迁移业务和备份数据。本地盘恢复后需要登录到轻量算力节点内完成本地盘分区。 #### 计划事件状态流转说明 完成计划事件授权处理后，计划事件的状态会从待授权依次流转至待执行、执行中、已完成/失败，如下图所示。 ![](https://support.huaweicloud.com/resmgmt-modelarts/public_sys-resources/note_3.0-zh-cn.png) 计划事件列表中，事件展示时间与事件状态有关。 - 状态为"取消"或"已完成"，会保留7天记录。 - 状态为"待授权"时，会保留30天记录，如果超过30天未授权处理，则状态会自动修改为"取消"状态。 - 状态为"失败"，请联系华为技术支持处理。 图1**计划事件状态流转说明** ![](https://support.huaweicloud.com/resmgmt-modelarts/figure/zh-cn_image_0000002689389657.png "点击放大") 表2计划事件状态说明 | 计划事件状态 | 状态说明 | 可执行的操作 | |:------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------:| | 待授权（Authorization Pending） | 系统计划事件已生成但还未得到授权，需要用户授权执行 | 授权计划事件，选择对应的处理方式 | | 待执行（Execution Pending） | 计划事件已得到授权，系统会根据执行窗口自动执行 | 无需操作 | | 执行中（Executing） | 用户选择的计划事件处理方式正在执行中 | 无需操作 | | 已完成（Completed） | 计划事件已执行成功，对应的故障已完成修复 | 无需操作 | | 取消 （Canceled） | 计划事件被系统取消，比如导致该计划事件的根因故障已修复，系统会自动取消计划事件 | 无需操作 | | 失败 （Failed） | 计划事件执行失败 | 联系华为技术支持进行运维处理 | | 部分成功 (part-completed) | 计划事件执行部分节点已完成修复 | 联系华为技术支持进行运维处理 | ![](https://support.huaweicloud.com/resmgmt-modelarts/public_sys-resources/warning_3.0-zh-cn.png) - 选择重部署处理的修复场景，计划事件的状态会直接从待授权切换到执行中，因为用户授权重部署后的执行窗口是立即执行。 - 强制重部署会在节点重部署完成后进行节点重置，会导致服务器的本地盘数据和系统盘数据全部丢失，请谨慎操作。 #### 操作步骤 当故障节点满足如[表1]所示的条件时，可通过授权操作授权华为技术支持对故障节点进行运维。 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧菜单栏中选择"资源管理 \> 辅助工具 \> 事件中心"。 2. 单击操作列的"授权处理"，在弹出的提示框中选择对应的处理方式，单击"确认"即可完成授权。 图2授权处理 ![](https://support.huaweicloud.com/resmgmt-modelarts/figure/zh-cn_image_0000002656970554.png "点击放大") 3. 授权成功后，"授权处理"按钮置灰，事件状态变为待执行/执行中。 如果选择了重部署处理方式，操作列会显示查看进度按钮。单击操作列查看进度按钮，可以看到当前重部署的进度信息。如果重部署失败，也可以看到失败原因，如果用户在重部署时勾选静默修复，可以无需关注，系统会自动切换为原地维修计划事件或者重新重部署节点。 图3事件进度 ![](https://support.huaweicloud.com/resmgmt-modelarts/figure/zh-cn_image_0000002659310304.png "点击放大") 图4故障 ![](https://support.huaweicloud.com/resmgmt-modelarts/figure/zh-cn_image_0000002659310302.png "点击放大") 在完成运维操作后，事件将变成"已完成"状态，无需额外操作。 #### 系统维护场景操作示例 - Snt9b23 超节点系统维护 维护机器是授权华为运维人员对硬件设备进行维修，这个过程需要机房人员实际更换备件，具有一定的时间周期。同时系统维护过程中，节点可能重启或下电，无法正常使用。授权前请确保您的业务已经完成迁移，本地数据已完成备份。 在确定对业务无影响的情况下，您可以选择在授权确认弹框中输入 "YES"，或者直接单击"一键输入"后，再单击确定即可完成授权过程。 - Snt9b、超节点Snt9b21系统维护 Snt9b和、超节点Snt9b21系统维护计划事件可以选择维护机器和重部署两种处理方式。以系统维护为例，如下图。 图5授权处理 ![](https://support.huaweicloud.com/resmgmt-modelarts/figure/zh-cn_image_0000002689389655.png "点击放大") 处理方式同Snt9b23，如果确定对业务无影响，您可以选择在授权确认弹框中输入 "YES"，或者直接单击"一键输入"后，再单击"确定"即可完成授权过程。 #### 重部署场景操作示例 专属资源池和轻量算力集群两类资源在重部署时采用相同处理逻辑，但轻量算力节点当前仅支持静默修复模式的重部署操作。 ![](https://support.huaweicloud.com/resmgmt-modelarts/public_sys-resources/warning_3.0-zh-cn.png) - 若选择重部署且未启用静默修复，任务失败时（如无同规格冷备机器）需联系华为技术支持处理。 - 专属资源池和轻量算力集群 **示例1：Snt9b23超节点重部署** 1. 操作流程 - 在[2]时单击"授权处理"按钮时，选择"重部署"处理方式。系统将执行冷备整机替换，确保新节点IP、配置与源节点一致，恢复时间约10-30分钟。 - 操作前准备： - 确认是否勾选"静默修复"及"强制重部署"，输入"YES"后单击"确认"完成授权。 2. 静默修复机制 - 启用场景：当重部署失败（如无冷备机器、准入检查失败），系统自动流转至"系统维护"或发起多次重部署，生成新计划事件且无需二次授权。 - 未启用场景：计划事件状态变为失败，需人工联系技术支持处理。 3. 强制重部署说明 - 适用条件：节点不可用时强制执行冷备替换，或用户明确需要节点重置。 - 注意事项： - 操作耗时20-30分钟，本地盘与系统盘数据将被清空，需提前备份。 - 事件状态"已完成"表示故障修复，可调度节点进行业务作业；"失败"状态需联系技术支持。 4. 静默修复联动逻辑 若同一节点出现重部署计划事件状态"取消"，将自动生成"超节点维护"计划事件，新事件无需二次授权。 **示例2：Snt9b和超节点Snt9b21重部署** 1. 依赖条件 操作需依赖系统维护或本地盘恢复计划事件。 2. 操作步骤 - 在[2]时单击"授权处理"按钮时选择"重部署"，确认静默修复（建议默认勾选）与强制重部署选项。 - 在授权确认窗口输入"YES"或单击"一键输入"后提交。 图6授权处理 ![](https://support.huaweicloud.com/resmgmt-modelarts/figure/zh-cn_image_0000002686890193.png "点击放大") - 轻量算力节点场景 轻量算力节点支持静默修复，用户可参照[操作步骤]只需要授权重部署操作即可。 重部署完成后，还需[重置节点](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0020.html)。 #### 常见问题 1. **专属资源池节点故障定位** 对于专属资源池，ModelArts平台在识别到节点故障后，通过给K8S节点增加污点的方式（taint）将节点隔离避免新作业调度到该节点而受到影响，并且使本次作业不受污点影响。当前可识别的故障类型如下，可通过隔离码及对应检测方法定位故障。详情请见[资源池节点故障定位](https://support.huaweicloud.com/trouble-modelarts/modelarts_13_0292.html)。 2. **轻量算力节点进行重部署时，节点详情页的状态与实际情况不一致。** 轻量算力节点的节点状态并非实时同步，自动同步周期较长。可能出现节点详情页的状态与实际情况不一致，可在轻量算力节点详情页单击右上角"同步"按钮，实现手动状态同步。 例如： Snt9b23在重部署前会先自动关机，如果关机后，重部署失败（如无备机），实际节点状态为已关机。在轻量算力节点自动同步之前可能会显示运行中等状态。用户可以手动同步状态。