在MaaS体验中心使用模型服务
在ModelArts Studio大模型即服务平台,运行中的模型服务可以在“模型体验”页面在线体验模型服务的推理效果。
前提条件
在“模型部署”的服务列表存在“运行中”的模型服务。
操作步骤
- 登录ModelArts管理控制台。
- 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
- 有两种方式进入体验页面,任选一种方式进入即可。
- 方式一
- 在ModelArts Studio左侧导航栏中,选择“模型体验”进入体验页面。
- 在模型体验页面,单击“请选择服务”或“立即选择”,在模型列表中选择要体验的模型服务,单击“确定”。
图1 选择模型服务
- 方式二
- 或者在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
- 在模型列表,选择要体验的模型服务,单击操作列“更多 > 体验”,进入体验页面。
- 方式一
- 在参数设置页面,拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。
图2 设置推理参数
表1 参数设置 参数
说明
温度/Temperature
设置推理温度。
- 数值较高,输出结果更加随机。
- 数值较低,输出结果更加集中和确定。
取值范围:0~2
默认值:1
核采样/top_p
设置推理核采样。调整输出文本的多样性,数值越大,生成文本的多样性就越高。
取值范围:0~1
默认值:1
top_k
选择在模型的输出结果中选择概率最高的前K个结果。
取值范围:1~1000
默认值:20
- 在对话框中输入问题,查看返回结果,在线体验模型服务。
图3 体验模型服务