推理服务

新建推理服务

1. 在左侧菜单栏中单击“训练服务 > 推理服务”。
2. 选择“推理服务”页签，单击“新建推理服务”，填写基本信息。
   • 名称：输入推理服务名称，只能包含数字、英文、中文、下划线、中划线，不得超过64个字符。默认占位符为“infer-”加5位随机字串，e.g. infer-7xfzw。
   • 描述：简要描述任务信息。不得包含“@^\#$%&*<>'|"/”，不得超过256个字符。
   • 模型：请选择推理服务使用的模型仓库和版本。容器中模型文件默认存放位置：${OCTOPUS_MODEL}。
   • 镜像：运行镜像默认使用当前模型仓库绑定的镜像。如需要覆盖可自行选择用途为“训练/评测”的其他镜像。镜像要求参见“镜像仓库 > 镜像制作（训练）> ModelArts集群”章节中的推理服务。
   • 运行用户ID：容器运行时的用户ID，范围0-60000。需在容器镜像中预置。默认取值为0（root）。
   • 启动命令：容器的启动指令，选填。若填写，则优先级高于镜像的默认启动指令。
   • 容器端口：容器向外暴露的服务端口。
   • 环境变量：通过注入环境变量至容器中，用户可以快速获取业务相关常量。
     • key：必须以英文字母或下划线（_）开头，后续字符只能包含英文字母、数字、下划线（_），长度不超过64个字符。
     • value：只能由中文、英文字母、数字及特殊字符（_ / \ - . , : @ < > { } [ ]）组成 。长度不超过512个字符。
   • 资源挂载：选择可用的平台数据资产挂载到容器中${RESOURCE_MOUNT}变量对应的路径下，目前支持模型、算法和数据集三种。资源和挂载路径的映射关系会在页面实时提示，并以${RESOURCE_MOUNT_MAP}变量注入到容器中。
   • 资源规格：选择可用的资源池和资源规格，当前仅支持ModelArts类型的资源池。
   • 实例数：设置推理服务部署实例数，范围1~100，上限受所选资源池容量限制。提高实例数可以横向拓展，动态分流，以提高服务并发数和处理能力。
   • 优先级：设定在任务队列中的优先级，数值取[-50, 50]的整数，数字越大，优先级越高。
   • 健康检查：支持配置启动、就绪和存活三种探针，每种探针又支持HTTP请求和执行命令两种方式。保障服务整体可用性和可靠性。
   • 请求超时时间：可配置服务单次请求的最大超时时间，避免无效等待。取值范围1~1200s。
   • 是否自动停止：可选值为[1, 24] 之间的整数。开启自动停止后，在线服务部署成功后将在您所指定的时间后自动停止以节约算力。后续可以随时打开或关闭该设置。

3. 单击“确认”，创建并将推理服务加入任务队列。

获取API Key

API Key是访问推理服务的唯一有效凭据，以此凭据可以访问当前工作空间下的所有推理服务。具体使用方式如下：

通过客户端、命令行或API调用的方式访问推理服务的接口时，在请求头(Request Headers)中添加Key为"Authorization", Value为"Bearer加空格加API Key的内容"的请求头用来鉴权。

当前工作空间下有至少一个推理服务创建成功后，才可以获取API Key。

推理服务相关操作

在“推理服务”列表，可对任务进行以下操作。

推理服务各状态允许的操作如下:

服务监控

页面上支持按照选定的时间窗、统计周期和刷新模式展示推理服务在请求性能、网络流量和资源利用率方面的多张图表。多维度、多视角对服务质量和运行效率进行评估，方便用户有针对性的进行优化和扩缩容。

接口访问和调用

1. 获取访问地址。

   访问地址为 {公网地址} /{自定义镜像中定义的API地址}，例如：https://xxx/v2/infer/xxx/2d-scenario-identification。

   公网地址可以从推理服务详情中获取。

   图1 详情获取公网地址
   
2. 调用推理服务。

   请携带API Key调用推理服务。