在MaaS体验文本对话

约束限制

该功能仅支持“西南-贵阳一”和“华东二”区域。

计费说明

• 使用预置服务、我的服务或使用预置服务创建的自定义接入点进行文本对话，输入和输出会转化为Token计费。关于计费详情，请参见推理服务计费项。
• 使用我的服务进行文本对话，会产生计算资源和存储资源的累计值计费。关于计费详情，请参见计算资源计费项。

前提条件

• 使用预置服务：在“模型推理 > 在线推理 > 预置服务”页签，已开通预置服务。具体操作，请参见开通预置服务。
• 使用我的服务：在“模型推理 > 在线推理 > 我的服务”页签，服务列表存在运行中、更新中或升级中的模型服务。具体操作，请参见部署模型服务。
• 使用自定义接入点：在“模型推理 > 在线推理 > 自定义接入点”页签，已创建自定义接入点。具体操作，请参见创建自定义接入点。

在线体验文本对话

1. 登录MaaS控制台，在顶部导航栏中选择目标区域。
2. 任选以下方式进行模型体验。
   • 方式一
     1. 在左侧导航栏中，选择“模型体验 > 文本对话”。
     2. 在“文本对话”页面左上角单击“请选择模型服务”，或者在页面中间单击“选择模型”，在“预置服务”、“我的服务”或“自定义接入点”页签，选择要体验的模型服务，单击“确定”。
        • “预置服务”页签：选择目标服务版本进行体验。
        • “我的服务”页签：单击已部署的模型服务进行体验。
        • “自定义接入点”页签：单击使用中的自定义接入点。
   • 方式二
     1. 在左侧导航栏中，选择“模型推理 > 在线推理”。
     2. 在“在线推理”页面，任选以下方式进入“文本对话”页面。
        • 在“预置服务”页签，单击操作列的“在线体验”，选择版本，进入“文本对话”页面。
        • 在“我的服务”页签，单击操作列的“更多 > 在线体验”，进入“文本对话”页面。
        • 在“自定义接入点”页签：单击操作列的“在线体验”，进入“文本对话”页面。
3. （可选）在“文本对话”页面左上方，单击“模型参数”，按需拖动或直接输入数值配置推理参数，获得更好的模型推理效果。单击“恢复默认”可以将参数值调回默认值。
   图1 设置推理参数
   

   表1 参数设置

   参数	说明
   温度/Temperature	设置推理温度，用于控制生成文本的随机性和创造性，Temperature数值越大随机性越大。 数值较低，输出结果更加集中和确定。 数值较高，输出结果更加随机，更有创意性。 取值范围：0~2 默认值：不同模型的默认值不同，请以实际环境为准。
   核采样/top_p	设置推理核采样，用于调整输出文本的多样性。top_p数值越大，生成文本的多样性就越高。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：0.1~1 默认值：不同模型的默认值不同，请以实际环境为准。 详细解释：top_p可以设置tokens候选列表的大小，将可能性之和刚好超过设定值P的top tokens列入候选名单，然后从候选名单中随机采样，生成一个token。
   top_k	用于控制输出tokens的多样性。top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前K个结果。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：1~1000 默认值：20 详细解释：top_k可以设置保留概率最高的前K个tokens，从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度，并仍然保持样本的一定多样性。

4. 在对话框中输入问题或者使用控制台提供的推荐词，查看返回结果，在线体验模型服务。

   模型输出内容不代表平台观点，平台不保证其合法性、真实性、准确性，不承担相关责任。输入和输出内容已默认开启内容审核。

   图2 体验模型服务
   

   在线体验功能相关操作说明如下：

   • 切换模型/版本：在模型名称右侧单击图标，按需选择模型和版本，单击“确定”。
   • 停止模型回答：在模型回答过程中，您可以在对话框单击图标，停止模型回答，停止后该对话不产生计费。
   • 复制回答：对于生成的内容，您可以在模型对话框左下方，单击图标复制回答。
   • 重新生成回答：在模型对话框左下方，单击图标重新生成回答。
   • 开启新对话：在页面右上角，单击“开启新对话”，在对话框中单击“确定”。开启新对话将清除全部对话，无法保留对话记录。
   • API调用：在页面右上角，单击“API调用”，可以查看模型的调用信息，请按照页面提示进行调用。关于API Key参数说明，请参见创建API Key；关于API调用的参数说明，请参见对话Chat/Post。

模型对比

MaaS支持对比同一文本对话模型的不同版本或不同模型，最多可同时对比三个模型/版本。

1. 在“文本对话”页面右上角，单击“模型对比”。

   “模型对比”按钮中会显示当前的模型对比个数，2/3表示当前已对比两个模型。再次单击“模型对比”，可增加模型对比个数。当模型对比数为3/3时，达到模型对比上限，“模型对比”按钮会置灰。

   图3 对比两个模型
   
   图4 对比三个模型
   
   • 切换模型/版本：MaaS会自动选择模型进行对比，您可以在模型名称右侧单击图标，按需选择模型和版本，单击“确定”。
   • API调用：在模型名称右侧，单击图标，可以查看模型的调用信息，请按照页面提示进行调用。关于API Key参数说明，请参见创建API Key；关于API调用的参数说明，请参见对话Chat/Post。
   • 修改推理参数：在模型名称右侧，单击图标，可以对温度/Temperature、核采样/top_p、top_k参数进行修改，获得更好的模型推理效果。关于参数说明，请参见表1。
   • 关闭/新增对比模型：在模型名称右侧，单击图标，可以关闭该对比模型；单击“模型对比”，可以新增对比模型。
   图5 模型对比相关功能
   
2. 在对话框中输入问题或者使用控制台提供的推荐词，查看模型对比的效果。

   如果您不想使用模型对比功能，可以在页面右上角，单击“退出对比”。