在ModelArts Studio（MaaS）体验文本对话

场景描述

ModelArts Studio提供了“预置服务”和“我的服务”的文本对话功能，帮助您快速体验模型的文本对话效果。

前提条件

• 使用预置服务：在“在线推理”页面的“预置服务”页签，使用有效期内的免费服务、已开通商用服务或者已创建自定义接入点。具体操作，请参见免费体验MaaS预置服务、在ModelArts Studio（MaaS）预置服务中开通商用服务和在ModelArts Studio（MaaS）预置服务中创建自定义接入点。
• 使用我的服务：在“在线推理”页面的“我的服务”页签，服务列表存在运行中、更新中或升级中的模型服务。具体操作，请参见使用ModelArts Studio（MaaS）部署模型服务。

操作步骤

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 任选以下方式进行模型体验。
   • 方式一
     1. 在左侧导航栏中，选择“文本对话”。
     2. 在“文本对话”页面，单击“请选择模型服务”，在“预置服务”或“我的服务”页签，选择要体验的模型服务，单击“确定”。
        • “预置服务”页签：按需单击“商用服务”、“免费服务”或“自定义接入点”页签，选择目标服务进行体验。商用服务支持按需选择版本。
        • “我的服务”页签：单击已部署的模型服务进行体验。
   • 方式二
     1. 在左侧导航栏中，选择“在线推理”。
     2. 在“在线推理”页面，任选以下方式进入“文本对话”页面。
        • 在“预置服务”页签，按需单击“商用服务”、“免费服务”或“自定义接入点”页签，单击操作列的“在线体验”，进入“文本对话”页面。商用服务支持按需选择版本。
        • 在“我的服务”页签，单击操作列的“更多 > 在线体验”，进入“文本对话”页面。
3. 在“文本对话”右上角，单击“参数设置”，按需拖动或直接输入数值配置推理参数。单击“恢复默认”可以将参数值调回默认值。
   图1 设置推理参数
   

   表1 参数设置

   参数	说明
   温度/Temperature	设置推理温度，用于控制生成文本的随机性和创造性，Temperature数值越大随机性越大。 数值较低，输出结果更加集中和确定。 数值较高，输出结果更加随机，更有创意性。 取值范围：0~2 默认值：不同模型的默认值不同，请以实际环境为准。
   核采样/top_p	设置推理核采样，用于调整输出文本的多样性。top_p数值越大，生成文本的多样性就越高。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：0.1~1 默认值：不同模型的默认值不同，请以实际环境为准。 详细解释：top_p可以设置tokens候选列表的大小，将可能性之和刚好超过设定值P的top tokens列入候选名单，然后从候选名单中随机采样，生成一个token。
   top_k	用于控制输出tokens的多样性。top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前K个结果。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：1~1000 默认值：20 详细解释：top_k可以设置保留概率最高的前K个tokens，从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度，并仍然保持样本的一定多样性。

4. 在对话框中输入问题，查看返回结果，在线体验模型服务。

   模型输出内容不代表平台观点，平台不保证其合法性、真实性、准确性，不承担相关责任。输入和输出内容已默认开启内容审核。

   图2 体验模型服务