更新时间:2026-04-22 GMT+08:00
分享

查看在线服务详情

当模型部署为在线服务成功后,您可以进入“在线服务”详情页面,来查看服务的详细信息。

  1. 登录ModelArts管理控制台,在左侧菜单栏中选择“模型推理 > 在线推理”,进入“在线推理”管理页面。

    单击右上角的“新手引导”,可查看在线推理流程指引。

    在线服务列表页的搜索框中,支持根据服务名称、服务ID、服务状态、服务创建者、服务的认证方式、服务部署的资源池ID等字段搜索。

  2. 您可以单击在线服务名称,进入在线服务的详情页面,通过切换页签查看更多详细信息,详情说明请参见表1
    表1 在线服务详情

    参数

    说明

    服务

    展现服务的服务拓扑图、基础信息、网络配置、流量权重和高级配置。

    服务拓扑图请见查看服务部署拓扑图

    调用信息可以通过复制API调用地址,调用服务。

    部署

    展现服务的部署信息,通过切换左侧卡片,可以查看不同部署的部署信息。

    在部署信息中,单击资源池名称,可前往资源池详情页查看资源池配置信息,详情请见查看专属资源池详情

    单击部署副本数的“查看详情”,可查看服务实例详情:

    • 可根据业务情况删除实例,也可以对部署实例进行扩缩容,详情请见扩缩容在线服务部署
    • 在部署副本列表可单击Pod数量查看Pod详情,Pod操作列可查看Pod事件和日志,也可根据业务删除Pod。

    如果资源池为公共资源池,暂不支持删除且重建实例操作和删除Pod操作。

    单击流量权重的修改配置,可修改服务部署的流量权重,详情请见修改服务部署的流量权重

    单击版本数量的查看详情,可查看当前部署的版本列表,可对部署版本进行切换和删除操作。不能删除当前部署版本。

    在左侧部署小卡片中,可进行升级部署、停止部署、扩缩容等操作,详情请见管理在线服务部署的生命周期

    预测

    对在线服务进行预测。具体操作请参见使用预测功能测试在线服务

    监控

    展现当前服务的监控数据。具体监控数据请见在ModelArts平台查看在线服务性能指标

    Cloud Shell

    允许用户使用ModelArts控制台提供的CloudShell登录运行中在线服务实例容器,详情请见使用CloudShell调试在线服务实例容器

    事件

    服务事件记录了服务层面在线服务在运行过程中产生的各种事件,包括但不限于服务启动、停止、升级、故障恢复等。服务事件保存周期为1个月,1个月后自动清理数据。

    Pod事件记录了底层容器Kubernetes集群中Pod的生命周期事件和异常情况。Pod事件保存周期为1小时,1小时后自动清理数据。

    查看服务的事件类型和事件信息,请参见查看在线服务的事件

    日志

    在线服务的运行日志会输出存放到云日志服务LTS。LTS自动创建日志组和日志流,默认缓存7天内的运行日志。支持对在线服务的运行日志进行搜索和分析。

    • 日志搜索:通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。详情请见LTS搜索日志
    • 统计图表:日志上报LTS后,支持通过SQL分析语法搜索关键日志数据,并将查询结果通过统计图表的方式进行可视化展示。详情请见使用统计图表将日志可视化
    • 日志分析:执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,方便进行搜索与分析。详情请见配置云端结构化解析规则
    • 实时日志:在线服务运行日志接入LTS后,每隔大约1分钟上报一次。因此,在实时日志页面,您最多需要等待1分钟左右,即可查看实时上报的日志,实现对日志数据的快速检索与分析。详情请见查看实时日志

    智能运维

    在大模型部署规模持续扩大、跨节点部署及负载均衡需求日益复杂的背景下,传统基于Kubernetes原生HPA的资源扩缩策略已难以满足精细化的P(推理实例)与D(解码实例)配比调整需求。用户在实际业务运行中,常面临因P/D配比不合理导致的资源利用率低下或性能瓶颈问题,而现有工具无法提供基于仿真算法的动态配比建议。为解决这一矛盾,ModelArts资源池支持安装HRA插件,通过仿真算法计算并展示最优P/D配比推荐值,使用户能够在不依赖自动扩缩功能的前提下,基于实时指标分析手动调整实例配比,从而在资源容量范围内实现更高效的推理服务部署。

    打开“检测”开关,单击“编辑”,可查看根据智能算法方针计算出的最佳推理单元配比。

    仅在线服务使用安装HRA插件的物理资源池时,且在线服务的模型资产有“弹性配比推荐”标签,支持推理单元配比检测。

    内网接入管理

    展示需要当前账号审批的内网接入申请。

    ModelArts提供内网接入功能,通过创建内网接入申请,实现自动创建VPCEP,打通VPC与推理在线服务的内网连接。详情请见通过内网访问在线服务

    标签

    展示服务已添加的标签。支持添加、修改、删除标签。

    标签详细用法请参见ModelArts如何通过标签实现资源分组管理

查看服务部署拓扑图

  • 部署拓扑图

    在部署服务时,可查看当前部署配置对应的拓扑图。

    图1 部署拓扑图
    表2 部署拓扑图说明

    拓扑图层级

    对应部署信息

    说明

    1

    部署deploy

    当前服务的部署名称。

    2

    部署副本

    当前服务部署已配置的部署副本,及其单元副本实例数。

    3

    单元副本

    对应部署副本已配置的单元副本,及其资源实例个数。

  • 服务拓扑图

    在部署完在线服务后,可在服务详情页查看服务拓扑图。

    图2 服务拓扑图
    表3 服务拓扑图说明

    拓扑图层级

    对应部署信息

    说明

    1

    服务service

    当前服务名称。

    2

    部署deploy

    当前服务的部署,以及每个部署的状态和流量。

    3

    部署副本

    对应服务部署的部署副本,及其单元副本实例数。

    4

    单元副本

    对应部署副本的单元副本,及其资源实例信息。

相关文档