在ModelArts Studio（MaaS）体验文本对话

操作场景

在使用MaaS进行模型测试时，用户常需快速验证模型的文本对话效果，但传统方法往往因配置复杂和准备时间长而难以满足这一需求。如何在保证准确性的同时，快速体验模型的文本对话效果？MaaS支持使用“预置服务”、“我的服务”或“自定义接入点”进行在线文本对话，帮助您快速体验模型的文本对话效果，提高测试效率。

约束限制

该功能仅支持“西南-贵阳一”和“华东二”区域。

计费说明

使用免费服务，不涉及计费。
使用商用服务、我的服务或使用商用服务创建的自定义接入点进行文本对话，输入和输出会转化为Token计费。关于计费详情，请参见ModelArts Studio（MaaS）文本生成模型。

前提条件

使用预置服务：在“在线推理 > 预置服务”页签，使用有效期内的免费服务或者已开通商用服务。具体操作，请参见免费体验MaaS预置服务或在ModelArts Studio（MaaS）预置服务中开通商用服务。
使用我的服务：在“在线推理 > 我的服务”页签，服务列表存在运行中、更新中或升级中的模型服务。具体操作，请参见使用ModelArts Studio（MaaS）部署模型服务。
使用自定义接入点：在“在线推理 > 自定义接入点”页签，已创建自定义接入点。具体操作，请参见在ModelArts Studio（MaaS）中创建自定义接入点。

操作步骤

登录ModelArts Studio（MaaS）控制台，在顶部导航栏中选择目标区域。
任选以下方式进行模型体验。
- 方式一
  1. 在左侧导航栏中，选择“文本对话”。
  2. 在“文本对话”页面左上角单击“请选择模型服务”，或者在页面中间单击“选择模型”，在“预置服务”、“我的服务”或“自定义接入点”页签，选择要体验的模型服务，单击“确定”。
    - “预置服务”页签：按需单击“商用服务”或“免费服务”页签，选择目标服务进行体验。商用服务支持按需选择版本。
    - “我的服务”页签：单击已部署的模型服务进行体验。
    - “自定义接入点”页签：单击使用中的自定义接入点。
- 方式二
  1. 在左侧导航栏中，选择“在线推理”。
  2. 在“在线推理”页面，任选以下方式进入“文本对话”页面。
    - 在“预置服务”页签，按需单击“商用服务”或“免费服务”页签，单击操作列的“在线体验”，进入“文本对话”页面。商用服务支持按需选择版本。
    - 在“我的服务”页签，单击操作列的“更多 > 在线体验”，进入“文本对话”页面。
    - 在“自定义接入点”页签：单击操作列的“在线体验”，进入“文本对话”页面。

（可选）在“文本对话”页面左上方，单击“模型参数”，按需拖动或直接输入数值配置推理参数，获得更好的模型推理效果。单击“恢复默认”可以将参数值调回默认值。

图1 设置推理参数

表1 参数设置
参数	说明
温度/Temperature	设置推理温度，用于控制生成文本的随机性和创造性，Temperature数值越大随机性越大。数值较低，输出结果更加集中和确定。数值较高，输出结果更加随机，更有创意性。取值范围：0~2 默认值：不同模型的默认值不同，请以实际环境为准。
核采样/top_p	设置推理核采样，用于调整输出文本的多样性。top_p数值越大，生成文本的多样性就越高。数值较低，输出可选的tokens类型越少，更有确定性。数值较高，输出可选的tokens类型越多，更有多样性。取值范围：0.1~1 默认值：不同模型的默认值不同，请以实际环境为准。详细解释：top_p可以设置tokens候选列表的大小，将可能性之和刚好超过设定值P的top tokens列入候选名单，然后从候选名单中随机采样，生成一个token。
top_k	用于控制输出tokens的多样性。top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前K个结果。数值较低，输出可选的tokens类型越少，更有确定性。数值较高，输出可选的tokens类型越多，更有多样性。取值范围：1~1000 默认值：20 详细解释：top_k可以设置保留概率最高的前K个tokens，从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度，并仍然保持样本的一定多样性。

在对话框中输入问题或者使用控制台提供的推荐词，查看返回结果，在线体验模型服务。
模型输出内容不代表平台观点，平台不保证其合法性、真实性、准确性，不承担相关责任。输入和输出内容已默认开启内容审核。

图2 体验模型服务

对于生成的内容，您可以在模型对话框左下方，单击图标复制回答，也可以单击图标重新生成回答。

如果您需要开启新对话，可以在页面右上角单击“开启新对话”，在对话框中单击“确定”。开启新对话将清除全部对话，无法保留对话记录。