创建部署服务

前提条件

• 已购买推理单元资源，具体购买方法请参见购买AI原生应用引擎包年包月资源。
• 由于在线运行需消耗资源，请确保账户有可用资源，且用户费用状态正常。
• 已准备好模型，具体请参见创建接入模型服务。

部署模型服务

1. 在AI原生应用引擎工作台的左侧导航栏选择“Agent编排中心 > 我的模型服务”。
2. 在“我的模型服务”页面右上角单击“部署模型服务”。
3. 在“创建部署服务”页面，配置模型信息，参数说明如表1所示。

   表1 模型信息参数说明

   参数名称	参数说明
   模型来源	微调的模型 平台模型
   选择模型	在下拉列表选择相应来源的具体模型。
   服务名称	自定义模型名称，支持中英文、数字、中划线(-)、下划线(_)、点(.)，长度2-64个字符，仅支持以中英文开头。
   模型服务描述	用户自定义的模型服务相关描述。
   标签	为模型服务选择标签分类。可从以下几个维度选择（支持多选）： 行业 适用领域 通用

4. 配置部署模型参数，参数说明如表2所示。

   表2 微调的模型部署参数说明

   参数名称	参数说明
   实例个数	设置模型服务部署的实例个数。 不同的模型部署1个实例需要的推理单元个数不同，比如，ChatGLM3-6B需要2个实例。 不同的模型因为模型参数量不同，模型参数量越多，需要消耗的资源越多，因此需要的推理单元个数越多。
   推理单元资源	在下拉列表可以查看已购买的推理单元的可用个数，根据实际情况选择。 如果推理单元个数不足以满足实例个数，则需减少实例个数以使推理单元资源满足需求。 说明： 在推理单元到期后，部署的模型将被下架，可通过购买推理单元资源恢复。
   流控配置	超出流控值，则触发限流，用户的请求会因为流控而失败。 无限制 10次/秒 50次/秒 100次/秒 200次/秒

5. 单击“保存”，部署模型服务，新部署的服务显示在“我部署的”页签中。

管理模型服务

部署模型服务完成后，可执行如下表3所示的管理模型服务相关操作。

管理我收藏的模型

1. 在AI原生应用引擎工作台的左侧导航栏选择“Agent编排中心 > 我的模型服务”。
2. 选择“我收藏的”页签，可进行如表4所示操作。

   表4 管理我收藏的模型

   操作	说明
   体验模型	将鼠标移至模型卡片单击“体验”，参照调测模型进行模型调测。
   部署模型	将鼠标移至模型卡片单击“部署”，参照部署模型服务完成模型部署。
   微调模型	将鼠标移至模型卡片单击“微调”，参照创建模型微调流水线进行操作生成调优后的新模型。