创建和管理KooSearch模型服务(可选)
场景描述
用户可以在模型管理页面配置不同的模型,建好的模型服务可以在体验问答和搜索的时候用来配置,也可以在配置知识库时,选择您建好的模型。
创建模型服务
- 登录云搜索服务管理控制台。
- 在左侧导航栏选择“KooSearch>Flexus企业搜索服务”,进入Flexus企业搜索服务页面。
- 选择文档问答服务,单击操作列的“问答”,前往KooSearch控制台。
- 左侧导航栏选择“模型管理”,进入“模型管理”页面。
- 单击页面的“新建模型服务”,弹出新建模型服务页面。
图1 新建模型服务
- 在新建模型服务页面。根据下表填写对应参数后,单击“确定”按钮。
表1 新建模型服务 参数
说明
模型服务名称
输入模型服务名称,不能为空。
模型类型
- NLP模型-云底座:通过华为云提供的盘古nlp大模型访问方式。
- NLP模型-昇腾云:通过昇腾云的MAAS服务提供的nlp大模型访问方式。如果选择此模型进行问答,建议设置模型生成最大新词数不超过512。
- NLP模型-裸机:通过裸机部署提供的盘古nlp大模型访问方式。
- 搜索Embedding模型:搜索向量化模型,支持将文本转化成向量。
- 搜索精排模型:对搜索的召回结果进行重排序,提升向量检索的效果。
- 搜索规划模型:提供多轮改写及意图识别功能。
- 缓存生成模型:提供query之间相似度的计算,用于知识库的缓存功能。
访问地址
模型的内网访问地址及端口。
模型描述
模型详细信息的描述。
昇腾云模型名称
来源于昇腾云服务开通的NLP大模型的模型名称。
上下文长度(K)
NLP大模型在进行一次特定的推理时可以考虑的最大令牌数。可以扩展上下文以生成更全面的响应。
部署ID
模型的部署id信息。
认证类型
IAM认证:支持华为iam认证,系统将默认使用css资源租户进行认证。开启使用委托账号后可以通过配置委托名和委托账号的方式使用委托账号的权限进行认证。
自定义认证:支持在调用时添加自定义请求头。
URL
向量模型的调用url,不同的模型有不同的url,url可以从独享集群处获取。
- 创建成功后 ,可以在模型管理页面中看到创建的模型服务。
编辑、删除模型服务
- 登录云搜索服务管理控制台。
- 在左侧导航栏选择“KooSearch>Flexus企业搜索服务”,进入Flexus企业搜索服务页面。
- 选择文档问答服务,单击操作列的“问答”,前往KooSearch控制台。
- 左侧导航栏选择“模型管理”,进入“模型管理”页面。
- 选择需要操作的模型。
单击操作列的“编辑”,可编辑模型服务,具体参数设置可以参照表1 新建模型服务参数。
单击操作列的“删除”,可删除模型服务。