配置模型
支持自定义智能分析助手NL2SQL和智能见解所使用的模型,方便您随时对模型进行切换,选择适合业务场景的模型。通过不断优化和调整所使用的模型,可以增强智能分析助手的问答能力,使其更加精准地理解和响应复杂的查询需求。本文为您介绍如何配置和管理系统中的模型。
约束限制
- 模型配置需要具备开发者或管理员权限。
- 模型管理需要具备管理员权限。
配置模型
- 登录智能数据洞察控制台。
- 单击管理控制台左上角的
,选择区域,单击右上角的企业项目,选择企业项目。
- 在控制台上方单击“项目”后,单击项目名称,进入项目页面。
- 单击“问答管理 > 智能分析助手”,进入智能分析助手页面。
- 单击“编辑 > 助手设置 ”,进入助手设置界面(图1)。
- 设置NL2SQL和智能见解的相关参数,参数说明请参见表1。
- 单击“保存”,模型配置成功。
表1 模型配置参数说明 参数
说明
模型
选择NL2SQL或智能见解使用的模型,下拉菜单中的模型为模型管理中创建的模型。
temperature
用于控制生成文本的多样性和创造力。取值接近0表示最低的随机性,1表示最高的随机性。一般来说,temperature越低,适合完成确定性的任务。temperature越高,例如0.9,适合完成创造性的任务。
max_tokens
生成文本的最大token数量,单位token。输入的文本加上生成的文本总量不能超过模型所能处理的最大长度。
管理模型
- 登录智能数据洞察控制台。
- 单击控制台上方“模型管理”,进入模型服务界面。
- 单击“创建模型服务”,支持对接各种接口形式的模型,参数说明请参见表2。
图2 新增模型
表2 创建模型服务参数说明 参数
说明
示例
名称
设置模型的名称。只能包含中文、英文、数字、空格、下划线(_)和中划线(_),且开头和结尾不能有空格,长度为1-64个字符。
盘古大模型测试
模型类型
设置模型类型。
- 盘古大模型(云底座):盘古大模型服务购买部署的大模型。
- 开源大模型(昇腾云):昇腾云服务部署的开源大模型。
- 开源大模型(裸机):自定义裸机部署的开源大模型。
- 盘古大模型(裸机):裸机部署的盘古大模型。
盘古大模型(云底座)
所属项目
指定拥有该模型使用权限的项目空间,为空则表示全部空间拥有该模型使用权限。
test
任务类型
当前接入模型可应用的任务类型。任务类型:NL2SQL、智能见解
NL2SQL、智能见解
接入网络类型
模型网络接入方式。
- 公网:需模型地址为公网域名或IP地址,可直接访问。
- 终端节点服务:通过vpcEp打通DataArtsInsight与大模型之间的网路,多用于大模型裸机部署场景。
公网
访问地址
大模型问答访问地址。
https://test.com/v1/infers/gpt/query?endpoint=infer-app
认证类型
IAM认证
租户名:华为云租户名称,即主账号名称。
用户名:用户名称,即拥有大模型访问权限用户名称。
密码:用户登录密码。
项目名称:华为云项目名称。
租户名:domain_name
用户名:sub_user_name
密码:password
项目名称:
cn-north-4
AKSK认证
AK:访问密钥ID。
SK:访问密码。
项目名称:华为云项目名称。
AK:test
SK:test
项目名称:cn-north-4
AppCode认证
AppCode:API网关访问场景,对应应用的AppCode。
yourAppCode
委托认证
账户名称:委托方账户名称。
委托名称:委托方创建的委托名。
项目名称:华为云项目名称。
账户名称:domain_name
委托名称:agency_name
项目名称:cn-north-4
自定义认证
标头键:请求头key。
标头值:请求头value。
标头键:X-Test-Header
标头值:testHeader
- 参数设置完成后,单击“连通性测试”,测试通过后单击“确认”,模型创建成功。
单击“NL2SQL默认模型”、“智能见解默认模型”下拉菜单可以设置默认模型。设置完成后,新建智能分析助手NL2SQL、智能见解所使用的模型将自动使用选择的默认模型。