创建和管理KooSearch模型服务（可选）

场景描述

您可以在模型管理页面创建不同的模型服务。创建好模型服务后，可以在创建知识库时，选择您建好的模型。也可以在体验问答或搜索的时候使用您配置建好的模型，使答案更接近您想要的结果。

创建模型服务

1. 进入KooSearch控制台。
2. 左侧导航栏选择“配置管理 > 模型管理”，进入“模型管理”页面。
3. 单击页面的“新建模型服务”，弹出新建模型服务页面。
   图1 新建模型服务
   

4. 在新建模型服务页面。根据下表填写对应参数后，单击“确定”按钮。

   表1 新建模型服务

   参数	说明
   模型服务名称	输入模型服务名称，不能为空。
   模型类型	NLP模型-云底座：通过华为云提供的盘古nlp大模型访问方式。 NLP模型-裸机：通过裸机部署提供的盘古nlp大模型访问方式。 搜索Embedding模型：搜索向量化模型，支持将文本转化成向量。 搜索精排模型：对搜索的召回结果进行重排序，提升向量检索的效果。 搜索规划模型：提供多轮改写及意图识别功能。 审核模型：提供审核服务，审核query、answer是否合规。仅可创建一个审核模型。 OCR模型：提供文字识别服务，将图片、扫描件或PDF、OFD文档中的文字识别成可编辑的文本。 NLP模型-昇腾云：通过昇腾云的MAAS服务提供的nlp大模型访问方式。如果选择此模型进行问答，建议设置模型生成最大新词数不超过512。 缓存生成模型：提供query之间相似度的计算，用于知识库的缓存功能。 web搜索引擎服务：客户自定义的搜索引擎，提供联网搜索服务。 联网增强服务：提供联网增强服务。 说明： embedding模型与缓存生成模型之间存在强关联关系。在创建embedding模型时，系统会配套生成对应的缓存生成模型，若其中一个模型配置信息因意外删除，需根据相同的配置参数进行重建。例如，若embedding模型的名称为pangu_embedding，则其对应的缓存生成模型名称为pangu_embedding_faq。 在创建知识库时，需要依赖embedding模型（pangu_embedding）与缓存生成模型（pangu_embedding_faq）。若缓存生成模型（pangu_embedding_faq）不存在或未授权，系统将抛出异常。此时，需由管理员检查pangu_embedding_faq模型是否存在或确认相关权限是否已授予知识库使用者。若模型缺失，需补充创建相应的pangu_embedding_faq模型；若权限不足，需为知识库使用者授予pangu_embedding_faq相关权限。
   访问地址	模型的内网访问地址及端口。
   是否启用	如果模型类型选择“审核模型”，会出现“是否启用”按钮。 如果启用，在“体验平台”问答的时候，模型将会审核问答中的query、answer是否合规。如果有敏感词，系统将拒答并返回默认提示。
   模型描述	模型详细信息的描述。
   昇腾云模型名称	如果模型类型选择“NLP模型-昇腾云”，则需要填写昇腾云模型名称。来源于昇腾云服务开通的NLP大模型的模型名称。
   上下文长度（K）	如果模型类型选择“NLP模型-云底座”、“NLP模型-裸机”，则需要填写上下文长度。 上下文长度是指：NLP大模型在进行一次特定的推理时可以考虑的最大令牌数，生成结果可以扩展上下文以生成更全面的响应。
   部署ID	如果模型类型选择“NLP模型-云底座”、“NLP模型-裸机”，则需要填写部署ID。 部署ID是指：模型的部署ID信息。
   认证类型	IAM认证：支持华为iam认证，系统将默认使用css资源租户进行认证。开启使用委托账号后可以通过配置委托名和委托账号的方式使用委托账号的权限进行认证。
   	自定义认证：支持在调用时添加自定义请求头。
   URL	设置KooSearch依赖集群：服务类型是【Embedding和rerank模型】的API管理地址。URL可以从独享集群处获取。
   是否开启定时检测	定时检测模型的连通性是否正常，并将结果更新到模型列表中。

5. 单击“确定”按钮。如果选择的是NLP模型，会弹出“新建模型服务声明”，勾选同意复选框，再单击“确认”。
   图2 免责声明
   

6. 创建成功后 ，可以在模型管理页面中看到创建的模型服务。单击模型名称可以查看模型服务的基本信息。

编辑、删除模型服务

1. 进入KooSearch控制台。
2. 左侧导航栏选择“模型管理”，进入“模型管理”页面。
3. 选择需要操作的模型。

   单击操作列的“编辑”，可编辑模型服务，具体参数设置可以参照表1 新建模型服务参数。

   单击操作列的“删除”，可删除模型服务。