更新时间:2021-09-18 GMT+08:00
分享

推理服务

云端推理框架提供模型云端运行框架环境,用户可以在线验证模型推理效果,无须从零准备计算资源、搭建推理框架,只需将模型包加载到云端推理框架,一键发布成云端Web Service推理服务,帮助用户高效低成本完成模型验证。

其中,“推理服务”主界面默认展示所有推理服务,用户可查看推理服务详情,并对推理服务进行一系列操作。

  1. 在模型管理界面,单击模型包所在行,对应操作列的

    进入推理服务验证页面,如图1所示。支持用户在界面上直接验证模型推理效果。

    页面中显示了推理服务的API接口信息。系统默认支持“POST / ”接口,并且支持在模型包中自定义REST接口,通过在线推理发布成REST服务。
    图1 推理验证

  2. 在页面左侧“验证消息”区域中输入json格式的数据,单击“快速验证”。

    右侧“返回结果”区域框会给出在线推理结果。

  3. 在菜单栏中,选择“推理服务”。

    进入推理服务主页面,页面以图表的形式展示所有推理服务,如图2所示。

    图2 推理服务

    界面说明如表1所示。

    表1 推理服务界面说明

    区域

    参数

    参数说明

    1

    支持通过名称快速检索推理服务。

    支持通过推理服务的状态快速筛选相同状态下的推理服务。

    状态包括:运行中、部署中、已停止、告警、部署失败、后台异常。

    用于刷新推理服务界面内容。

    使用“模型仓库”中的模型包创建新的推理服务。

    2

    查看推理服务详情信息,包括:CPU/内存/GPU当前使用量、模型包详情、历史更新记录和事件详情。

    推理服务的日志。支持通过“自定义时间段”筛选日志。

    支持复制推理服务提供的API接口地址。

    进入快速验证界面,支持用户在界面上直接验证模型推理效果。

    将推理服务授权给其他用户使用。

    服务发布者将推理服务授权给他人后,授权界面会生成“访问地址”,被授权用户可凭借自己的账户Token和“访问地址”调用推理服务的API接口。

    停止运行推理服务。

    修改推理服务的配置信息,包括是否开启自动停止、版本、计算节点规格、计算节点个数、分流、环境变量。

    删除推理服务。

    推理服务主页面快速入口:

    模型训练服务首页左上角品牌Logo旁Home图标的标识内容,单击展开下拉选项,选择“推理服务”。

分享:

    相关文档

    相关产品

close