# 创建及管理KooSearch模型服务 #### 场景描述 KooSearch文档问答服务不仅内置了高性能文本向量模型、精排模型、搜索规划模型，还支持用户从华为云的其他服务中增加新的外部模型。用户可以根据自身的业务需求，灵活选择和集成最合适的大语言模型，从而提高系统的多样性和适应性。本文介绍如何新增和管理模型服务。 #### 创建模型服务 您可以在模型管理页面创建不同的模型服务。创建好模型服务后，您可以在创建知识库时选择已建好的模型。此外，您也可以在体验问答或搜索时使用已配置的模型，使答案更接近您期望的结果。 1. [进入KooSearch控制台](https://support.huaweicloud.com/usermanual-koosearch/koosearch_06_8002.html#ZH-CN_TOPIC_0000002006968753__section3814237362)。 2. 左侧导航栏选择"配置管理 \> 模型管理"，进入"模型管理"页面。 3. 单击页面的"新建模型服务"，弹出新建模型服务页面。 图1新建模型服务 ![](https://support.huaweicloud.com/usermanual-koosearch/figure/zh-cn_image_0000002322261981.png) 4. 在新建模型服务页面。根据下表填写对应参数后，单击"确定"按钮。 表1新建模型服务 | 参数 | 说明 | |:---|:---| | 模型服务名称 | 必填，输入模型服务名称，不能为空。 | | 模型类型 | - NLP模型：通过MAAS服务提供的nlp大模型访问方式。如果选择此模型进行问答，建议设置模型生成最大新词数不超过512。 - 搜索Embedding模型：搜索向量化模型，支持将文本转化成向量。 - 搜索精排模型：对搜索的召回结果进行重排序，提升向量检索的效果。 - 搜索规划模型：提供多轮改写及意图识别功能。 - OCR模型：提供文字识别服务，将图片、扫描件或PDF、OFD文档中的文字识别成可编辑的文本。 - 缓存生成模型：提供query之间相似度的计算，用于知识库的缓存功能。 - web搜索引擎服务：客户自定义的搜索引擎，提供联网搜索服务。 - 联网增强服务：提供联网增强服务。 - 多模态模型：多模态视觉语言模型，具备强大的视觉和语言理解能力。 说明： - embedding模型与缓存生成模型之间存在强关联关系。在创建embedding模型时，系统会配套生成对应的缓存生成模型，若其中一个模型配置信息因意外删除，需根据相同的配置参数进行重建。例如，若embedding模型的名称为pangu_embedding，则其对应的缓存生成模型名称为pangu_embedding_faq。 - 在创建知识库时，需要依赖embedding模型（pangu_embedding）与缓存生成模型（pangu_embedding_faq）。若缓存生成模型（pangu_embedding_faq）不存在或未授权，系统将抛出异常。此时，需由管理员检查pangu_embedding_faq模型是否存在或确认相关权限是否已授予知识库使用者。若模型缺失，需补充创建相应的pangu_embedding_faq模型；若权限不足，需为知识库使用者授予pangu_embedding_faq相关权限。 | | 访问地址 | 必填。模型的内网访问地址及端口。 | | 模型描述 | 必填。模型详细信息的描述。不超过512个字符。 | | 接口类型 | 必填。接口类型是指此接口是购买KooSearch服务时一同购买的内置接口，还是购买的第三方OpenAI接口。 如果选择"搜索Embedding模型"、"搜索精排模型"需要选此参数。 - 内置：内置接口。 - OpenAI：第三方OpenAI接口。 | | 模型参数 | 必填。模型参数调用名称。 | | 上下文长度（K） | 如果模型类型选择"NLP模型"则需要填写上下文长度。 上下文长度是指：NLP大模型在进行一次特定的推理时可以考虑的最大令牌数，生成结果可以扩展上下文以生成更全面的响应。 | | 部署ID | 如果模型类型选择"搜索规划模型"，则需要填写部署ID。 部署ID是指：模型的部署ID信息。 | | 认证类型 | IAM认证：支持华为iam认证，系统将默认使用css资源租户进行认证。开启使用委托账号后可以通过配置委托名和委托账号的方式使用委托账号的权限进行认证。 | | 认证类型 | 自定义认证：支持在调用时添加自定义请求头。 | | URL | 服务类型是【Embedding和rerank模型】的API管理地址。URL可以从独享集群处获取。 | | 是否开启定时检测 | 必选。开启后，会定时检测模型的连通性是否正常，并将结果更新到模型列表中。 | 5. 单击"确定"按钮。如果选择的是NLP模型，会弹出"新建模型服务声明"，勾选同意复选框，再单击"确认"。 图2免责声明 ![](https://support.huaweicloud.com/usermanual-koosearch/figure/zh-cn_image_0000002327137385.png) 6. 创建成功后 ，可以在模型管理页面中看到创建的模型服务。单击模型名称可以查看模型服务的基本信息。 #### 编辑、删除模型服务 1. [进入KooSearch控制台](https://support.huaweicloud.com/usermanual-koosearch/koosearch_06_8002.html#ZH-CN_TOPIC_0000002006968753__section3814237362)。 2. 左侧导航栏选择"模型管理"，进入"模型管理"页面。 3. 选择需要操作的模型。 单击操作列的"编辑"，可编辑模型服务，具体参数设置可以参照[表1 新建模型服务参数]。 单击操作列的"删除"，可删除模型服务。