创建推理端点
用户在创建推理服务之前,需要先创建推理端点。创建推理端点的时候可以配置最大资源数,然后在推理端点之上创建推理服务,推理端点上的所有推理服务的总资源数不能超过推理端点的最大资源数,方便用户控制推理端点的资源使用量;
前提条件
- 已有可正常使用的华为云账号。
- 已有至少一个正常可用的工作空间。
操作步骤
- 登录Fabric工作空间管理台。
- 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产->推理端点”。
- 单击右上角的“创建推理端点”。参照创建推理端点的基本信息填写端点的名称、描述、资源规格和数量等基本信息,单击“创建”。
图1 进入推理端点创建页面
表1 创建推理端点的基本信息 参数名称
说明
名称
必填,推理端点名称。
长度为1-64,不支持重复名称。
只能包含中文、字母、数字、下划线、中划线、点、空格。
描述
可选,推理服务的描述信息。
长度为0-1024。不支持^!<>=&"'等特殊字符。
资源规格
必填,资源规格,不同的资源规格支持不同的模型。
预热资源数
目前只支持0,推理端点的预热资源数。
最大资源数
必填,推理端点的最大资源数。最大值不能小于1,最大为1000。同时最大资源数不能小于预热资源数。
图2 创建推理端点
- 返回“资源与资产 > 推理端点”页面,选择“我的端点”即可查看已创建的端点。
图3 推理端点