在MaaS体验文本对话

约束限制

该功能仅支持“西南-贵阳一”区域。

计费说明

使用预置服务、使用预置服务创建的自定义接入点进行文本对话，输入和输出会转化为Token计费。关于计费详情，请参见MaaS文本模型计费项。

前提条件

• 使用预置服务：在“模型推理 > 在线推理 > 预置服务”页签，已开通预置服务。具体操作，请参见使用预置服务。
• 使用自定义接入点：在“模型推理 > 在线推理 > 自定义接入点”页签，已创建自定义接入点。具体操作，请参见创建自定义接入点。

在线体验文本对话

1. 登录MaaS控制台，在顶部导航栏中选择目标区域。
2. 任选以下方式进行模型体验。
   • 方式一
     1. 在左侧导航栏中，选择“模型体验 > 文本对话”。
     2. 在“文本对话”页面左上角单击图标切换模型，在“预置服务”、“自定义接入点”页签，选择要体验的模型服务，单击“确定”。如下图所示：

        

        • “预置服务”页签：选择目标服务及版本进行体验。模型列表中的模型包括：已开通模型和未开通模型。

          如果选择已开通模型或者切换版本，单击“确认”，完成选择模型或者切换模型。

          如果选择未开通模型，则弹出“开通模型服务”弹框。在弹框中确认“服务名称”、“版本”、“供给方式”、“计费方式”以及“费用评估”等信息后，阅读《MaaS 模型即服务声明》后，勾选“我已阅读并同意上述说明，及《MaaS 模型即服务声明》”后，单击“确认”，完成选择模型或者切换模型。

          图1 开通模型服务
          
        • “自定义接入点”页签：选择状态为“使用中”的自定义接入点，单击“确认”，选择自定义接入点完成。
   • 方式二
     1. 在左侧导航栏中，选择“模型推理 > 在线推理”。
     2. 任选以下方式进入“文本对话”页面。
        • 在“预置服务”页签，单击操作列的“更多 > 在线体验”，选择版本，进入“文本对话”页面。
        • 在“自定义接入点”页签：单击操作列的“在线体验”，进入“文本对话”页面。
   • 方式三
     • 选择左侧导航栏“模型广场”，进入“模型广场”页面，单击模型卡片上的“在线体验”按钮，直接进入“文本对话”页面。
3. （可选）在“文本对话”页面左上方，单击“模型参数”，弹出“参数设置”页面，如下图所示：
   图2 设置推理参数
   

   根据表1中的参数说明，您可按需设置推理参数，体验不同的推理效果。如需恢复默认参数，单击“恢复默认”即可。

   表1 模型参数设置

   参数	说明
   温度/Temperature	设置推理温度，用于控制生成文本的随机性和创造性，Temperature数值越大随机性越大。 数值较低，输出结果更加集中和确定。 数值较高，输出结果更加随机，更有创意性。 取值范围：0~2 默认值：不同模型的默认值不同，请以实际环境为准。
   核采样/top_p	设置推理核采样，用于调整输出文本的多样性。top_p数值越大，生成文本的多样性就越高。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：0.1~1 默认值：不同模型的默认值不同，请以实际环境为准。
   top_k	用于控制输出tokens的多样性。top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前K个结果。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：1~1000 默认值：20 详细解释：top_k可以设置保留概率最高的前K个tokens，从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度，并仍然保持样本的一定多样性。

4. 在对话框中输入问题或者使用控制台提供的推荐词，查看返回结果，在线体验模型服务。

   模型输出内容不代表平台观点，平台不保证其合法性、真实性、准确性，不承担相关责任。输入和输出内容已默认开启内容审核。

   图3 体验模型服务
   

   在线体验功能相关操作说明如下：

   • 切换模型/版本：在模型名称右侧单击图标，按需选择模型和版本，单击“确定”。
   • 停止模型回答：在模型回答过程中，您可以在对话框单击图标，停止模型回答，停止后该对话不产生计费。
   • 复制回答：对于生成的内容，您可以在模型对话框左下方，单击图标复制回答。
   • 重新生成回答：在模型对话框左下方，单击图标重新生成回答。
   • 开启新对话：在页面右上角，单击“开启新对话”，在对话框中单击“确定”。开启新对话将清除全部对话，无法保留对话记录。
   • API调用：在页面右上角，单击“API调用”，可以查看模型的调用信息，请按照页面提示进行调用。详情请参考文本生成。

模型对比

MaaS支持对比同一文本对话模型的不同版本或不同模型，最多可同时对比三个模型/版本。

1. 在“文本对话”页面右上角，单击“模型对比”。

   “模型对比”按钮中会显示当前的模型对比个数，2/3表示当前已对比两个模型。再次单击“模型对比”，可增加模型对比个数。当模型对比数为3/3时，达到模型对比上限，“模型对比”按钮会置灰。

   图4 对比两个模型
   
   图5 对比三个模型
   
   • 切换模型/版本：MaaS会自动选择模型进行对比，您可以在模型名称右侧单击图标，按需选择模型和版本，单击“确定”。
   • API调用：在模型名称右侧，单击图标，可以查看模型的调用信息，请按照页面提示进行调用。关于API Key参数说明，请参见创建API Key；关于API调用的参数说明，请参见对话Chat/Post。
   • 修改推理参数：在模型名称右侧，单击图标，可以对温度/Temperature、核采样/top_p、top_k参数进行修改，获得更好的模型推理效果。关于参数说明，请参见表1。
   • 关闭/新增对比模型：在模型名称右侧，单击图标，可以关闭该对比模型；单击“模型对比”，可以新增对比模型。
   图6 模型对比相关功能
   

2. 在对话框中输入问题或者使用控制台提供的推荐词，查看模型对比的效果。
   图7 查看模型对比效果
   

   如果您不想使用模型对比功能，可以在页面右上角，单击“退出对比”。