模型预热失败如何处理
ModelArts Standard专属资源池提供了模型预热功能，用户可在控制台配置预热任务，将权重文件预先缓存到内存中的加速目录，从而缩短服务初始化时间，提升用户体验。
用户在发起创建或修改模型预热任务请求时，由于相关配置或资源池环境不符合条件，可能会遇到请求报错的情况，建议根据错误码信息，排查请求报错原因，采取相应的解决措施，具体错误码含义及解决方案详见下文请见创建或修改预热任务报错。
在模型预热过程中，可能会遇到预热异常或部分成功的情况。这些情况通常表现为模型加载失败、响应超时或部分功能未正常启动。当遇到预热异常时，首先检查模型文件是否完整且未损坏。确认模型文件无误后，检查资源是否充足，包括内存和CPU使用情况。如果预热部分成功，建议根据对应状态的错误信息，采取相应的解决措施，请见模型预热状态部分成功或异常。
创建或修改预热任务报错
创建或修改模型预热任务时报错。
|
错误码 |
说明 |
可能原因 |
解决方案 |
|---|---|---|---|
|
ModelArts.50015028 |
创建或更新预热任务失败，不满足校验规则。 |
创建模型预热任务失败，子池未绑定节点。 |
为逻辑子池创建模型预热任务前请先开启资源池节点绑定。请参考开启/关闭Standard专属资源池节点绑定。 |
|
创建模型预热任务失败，存在逻辑子池。 |
当存在逻辑子池时，物理资源池不支持创建模型预热任务，请在逻辑子池中创建模型预热任务。 |
||
|
创建模型预热任务失败，目标预热节点数大于资源池可用节点数。 |
请设置模型预热任务目标预热节点数不大于资源池可用节点数。 |
||
|
创建模型预热任务失败，权重预热任务数量已达上限。 |
您可通过删除不使用的模型预热任务，释放模型预热任务创建配额。 |
||
|
创建模型预热任务失败，资源池下重复的权重路径地址。 |
请确保资源池下创建模型预热任务时，权重路径地址唯一。 |
||
|
修改模型预热任务失败，目标预热节点数不能为0。 |
请设置模型预热任务目标预热节点数大于0。 |
||
|
创建预热任务失败，名称不满足校验规则。 |
创建预热任务，请设置模型预热任务名称符合校验规则。 |
||
|
创建模型预热任务失败，资源池剩余资源不足。 |
创建或更新预热任务，请确保资源池剩余资源充足。 |
||
|
ModelArts.50015029 |
子池存在模型预热任务，关闭节点绑定失败。 |
子池存在模型预热任务，关闭节点绑定失败。 |
关闭节点绑定前，请确保逻辑子池不存在模型预热任务。 |
|
ModelArts.50015030 |
子池存在模型预热任务，节点换绑失败。 |
子池存在模型预热任务，节点换绑失败。 |
逻辑子池存在权重预热任务时，节点换绑请启用节点排水。详情请见换绑逻辑子池。 |
|
ModelArts.50020100 |
创建或更新任务失败，资源池可用资源不足。 |
资源池内存或CPU资源不足。 |
您可通过释放不使用的作业，确保资源池满足权重预热请求的资源量。 |
|
ModelArts.50005000 |
服务内部错误。 |
可能为获取ModelArts子用户委托信息失败导致错误。 |
请确保创建预热任务的子用户已委托授权。配置委托授权操作请参考快速配置ModelArts委托授权。 |
模型预热状态部分成功或异常
|
状态 |
描述 |
处理措施 |
|---|---|---|
|
预热成功 |
资源池中节点已完成权重目录预热。 |
无需处理。 |
|
删除中 |
资源池中节点正在清理权重目录。 |
无需处理。 |
|
预热中 |
资源池中节点正在进行权重目录预热。 |
无需处理。 |
|
无可调度节点 |
资源池中无可调度节点进行权重目录预热，使得权重预热任务子任务无法在指定节点数目中全部完成。可能原因包括：资源池缩容、节点添加污点、节点故障、节点排水、节点重启、节点换绑逻辑子池、资源池节点内存不足等。 |
请排查资源池可用节点数量是否大于权重预热任务目标预热节点数量。 避免无可调度节点可能的解决方案如下：
|
|
预热超时 |
权重预热子任务超时。 |
请检查待预热权重目录是否过大，或OBS服务镜像下载速率是否过低。如非以上原因，请您联系运维人员排查处理。 |
|
内存不足 |
创建权重预热任务时选择的OBS目录实际大小大于用户设置的文件占用空间大小。 |
创建权重预热任务时，设置文件占用空间大小大于OBS目录实际大小。 |
|
未知异常 |
暂未识别的失败原因。 |
可能原因： 用户未为ModelArts委托授权OBS Administrator权限，将导致模型预热失败。建议为ModelArts委托授权OBS Administrator权限。 如非以上原因，请您联系运维人员排查处理。 |
