在ModelArts平台查看在线服务性能指标
服务创建后，用户需要掌握自己的在线服务和对应模型版本的监控数据。可以通过“服务列表-监控列”查看服务和对应模型版本的监控数据。
监控指标
监控数据见下表。
|
参数名称 |
参数说明 |
|---|---|
|
CPU使用率 |
统计服务和模型版本的CPU使用率。 下方显示服务容器已用CPU和可用CPU最大值（包含平台拉起系统容器显示值）。 |
|
内存使用率 |
统计服务和模型版本的内存使用率。 下方显示服务容器已用内存和可用内存最大值（包含平台拉起系统容器显示值）。 |
|
GPU使用率 |
使用GPU资源时显示。服务和模型版本的GPU使用率。 下方显示服务容器已用GPU和可用GPU最大值。 |
|
GPU显存 |
使用GPU资源时显示。服务和模型版本的GPU显存使用率。 下方显示服务容器已用GPU显存和可用GPU显存最大值。 |
|
NPU使用率 |
使用NPU资源时显示。服务和模型版本的NPU使用率。 下方显示服务容器已用NPU和可用NPU最大值。 |
|
NPU显存 |
使用NPU资源时显示。服务和模型版本的NPU显存使用率。 下方显示服务容器已用NPU显存和可用NPU显存最大值。 |
|
服务访问量 |
服务和模型版本的总的调用量，数据从服务创建完成后开始统计。 |
|
调用失败次数 |
服务和模型版本的调用失败次数，数据从服务创建完成后开始统计。 |
|
成功率 |
服务和模型版本的调用成功率，数据从服务创建完成后开始统计。 |
|
分钟级访问量 |
显示服务前一分钟的调用次数。 |
|
正常实例数/总实例数 |
服务的总实例数和正常实例数。 |
|
TP99 |
上1分钟内，统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99%的值作为TP99的值。您可单击“查看服务监控详情”，跳转至云监控平台查看详细数据。 |
|
TP99.9 |
上1分钟内，统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99.9%的值作为TP99.9的值。您可单击“查看服务监控详情”，跳转至云监控平台查看详细数据。 |
CPU使用率、内存使用率、GPU使用率及显存、NPU使用率及显存为实时数据。
服务访问量、成功率、分钟级访问量、正常实例数/总实例数是从服务创建完成后开始统计。
云监控平台上服务访问量与调用失败数不一定与服务页面上展示完全一致。这是因为云监控平台数据包含通过APIG访问服务失败时的数据，而服务详情页面不包含这部分访问服务失败数据。
查看监控信息
- 服务列表-监控列
服务创建完成后，在服务列表页面，您可以将鼠标放置在对应服务“监控”列的监控图标上，会呈现对应的监控数据（如CPU使用率、内存使用率、正常实例数/总实例数、服务访问量、成功率和分钟级访问量）。单击监控图标后，会跳至监控信息页签。
- 服务详情-监控信息页签
服务创建完成后，进入服务详情页，单击“监控信息”页签，查看服务和模型版本的监控数据详情。
当存在多个模型版本时，您需要单击“查看各灰度版本监控”，展开模型版本面板，查看模型版本监控数据详情。
如果您想查看更多更详细的监控指标，可以单击“查看服务监控详情”和“查看版本监控详情”，前往云监控服务控制台查看。您还可以设置服务和模型的告警规则，单击“设置告警策略”，前往云监控服务控制台，设置服务或模型版本的监控指标。
云监控平台监控您的ModelArts在线服务和对应模型负载，执行自动实时监控、告警和通知操作，帮助您更好地了解服务和模型的各项性能指标。了解云监控平台ModelArts监控，请参见ModelArts支持的监控指标。
