推理服务

云端推理框架提供模型云端运行框架环境，用户可以在线验证模型推理效果，无须从零准备计算资源、搭建推理框架，只需将模型包加载到云端推理框架，一键发布成云端Web Service推理服务，帮助用户高效低成本完成模型验证。

其中，“推理服务”主界面默认展示所有推理服务，用户可查看推理服务详情，并对推理服务进行一系列操作。

1. 在模型管理界面，单击模型包所在行，对应操作列的。

   进入推理服务验证页面，如图1所示。支持用户在界面上直接验证模型推理效果。

   页面中显示了推理服务的API接口信息。系统默认支持“POST / ”接口，并且支持在模型包中自定义REST接口，通过在线推理发布成REST服务。

   图1 推理验证
   

2. 在页面左侧“验证消息”区域中输入json格式的数据，单击“快速验证”。

   右侧“返回结果”区域框会给出在线推理结果。

3. 在菜单栏中，选择“推理服务”。

   进入推理服务主页面，页面以图表的形式展示所有推理服务，如图2所示。

   图2 推理服务
   

   界面说明如表1所示。

   表1 推理服务界面说明

   区域	参数	参数说明
   1		支持通过名称快速检索推理服务。
   		支持通过推理服务的状态快速筛选相同状态下的推理服务。 状态包括：运行中、部署中、已停止、告警、部署失败、后台异常。
   		用于刷新推理服务界面内容。
   		使用“模型仓库”中的模型包创建新的推理服务。
   2		查看推理服务详情信息，包括：CPU/内存/GPU当前使用量、模型包详情、历史更新记录和事件详情。
   		推理服务的日志。支持通过“自定义时间段”筛选日志。
   		支持复制推理服务提供的API接口地址。
   		进入快速验证界面，支持用户在界面上直接验证模型推理效果。
   		将推理服务授权给其他用户使用。 服务发布者将推理服务授权给他人后，授权界面会生成“访问地址”，被授权用户可凭借自己的账户Token和“访问地址”调用推理服务的API接口。
   		停止运行推理服务。
   		修改推理服务的配置信息，包括是否开启自动停止、版本、计算节点规格、计算节点个数、分流、环境变量。
   		删除推理服务。

   

   推理服务主页面快速入口：

   模型训练服务首页左上角品牌Logo旁Home图标的标识内容，单击展开下拉选项，选择“推理服务”。