将已有模型部署为模型服务

前提条件

• 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。
• 由于在线运行需消耗资源，请确保账户有可用资源，且用户费用状态正常。
• 需要具备AI原生应用引擎管理员或开发者权限，权限申请操作请参见AppStage组织成员申请权限。

部署模型服务

1. 在AI原生应用引擎的左侧导航栏选择“模型中心 > 我的模型服务”，单击“部署模型服务”。

   对于平台预置的模型，也可以在左侧导航栏单击“资产中心”，选择“大模型”页签，将鼠标移至大模型卡片并单击“部署”，进入“创建部署服务”页面。

2. 配置模型信息，参数说明如表1所示。

   表1 模型信息参数说明

   参数名称	参数说明
   模型来源	微调的模型 仅支持模型类型为“文本对话”。 平台模型 仅支持模型类型为“文本对话”和“文本向量化”。
   选择模型	在下拉列表选择相应来源的具体模型。
   服务名称	自定义模型服务名称，支持中英文、数字、中划线（-）、下划线（_）、点（.），长度2-36个字符，仅支持以中英文开头。
   模型服务描述	用户自定义的模型服务相关描述。
   标签	为模型服务选择标签分类。可从以下几个维度选择（支持多选）： 行业 适用领域 通用

3. 配置部署模型参数，参数说明如表2所示。

   表2 微调的模型部署参数说明

   参数名称	参数说明
   实例个数	设置模型服务部署的实例个数。 不同的模型部署1个实例需要的推理单元个数不同，比如，ChatGLM3-6B需要2个实例。 不同的模型因为模型参数量不同，模型参数量越多，需要消耗的资源越多，因此需要的推理单元个数越多。
   推理单元资源	在下拉列表可以查看已购买的推理单元的可用个数，根据实际情况选择。 如果推理单元个数不足以满足实例个数，则需减少实例个数以使推理单元资源满足需求。 说明： 在推理单元到期后，部署的模型将被下架，可通过购买推理单元资源恢复。
   流控配置	超出流控值，则触发限流，用户的请求会因为流控而失败。 无限制 10次/秒 50次/秒 100次/秒 200次/秒

4. 单击“保存”，部署模型服务。

   部署完成后，模型服务状态为“运行中”，新部署的服务显示在“我部署的”页签中。

5. （可选）在模型调测区域，参考调测模型进行模型调测。
6. （可选）在右侧“效果预览”区域，可通过以下两种方式进行模型测试。
   • 在对话输入框输入测试语句后按Enter键或单击进行模型测试。
   • 单击“引用已有提示语模板”，弹出“选择模板”面板，可通过分类筛选我创建的、我收藏的或平台预置的提示语模板，然后按Enter键或单击进行模型测试。

管理模型服务

部署模型服务完成后，可执行如下表3所示的管理模型服务相关操作。