在MaaS体验模型服务

前提条件

在“模型部署”的服务列表存在“运行中”的模型服务。

操作步骤

1. 登录ModelArts管理控制台。
2. 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
3. 有两种方式进入体验页面，任选一种方式进入即可。
   • 方式一
     1. 在ModelArts Studio左侧导航栏中，选择“模型体验”进入体验页面。
     2. 在“模型体验”页面，单击“请选择服务”，选择要体验的模型服务，单击“确定”。
   • 方式二
     1. 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。
     2. 进入体验页面。
        • 在“预置服务”页签，单击操作列“体验”，进入体验页面。
        • 在“我的服务”页签，单击操作列“更多 > 体验”，进入体验页面。
4. 在参数设置页面，拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。
   图1 设置推理参数
   

   表1 参数设置

   参数	说明
   温度/Temperature	设置推理温度。 数值较高，输出结果更加随机。 数值较低，输出结果更加集中和确定。 取值范围：0~2 默认值：1
   核采样/top_p	设置推理核采样。调整输出文本的多样性，数值越大，生成文本的多样性就越高。 取值范围：0.1~1 默认值：1
   top_k	选择在模型的输出结果中选择概率最高的前K个结果。 取值范围：1~1000 默认值：20

5. 在对话框中输入问题，查看返回结果，在线体验模型服务。
   图2 体验模型服务