在ModelArts Studio（MaaS）预置服务中体验免费服务

免费服务说明

免费服务仅提供基础体验能力，且存在严格的速率限制。平台可能会不定期调整其适用模型、免费额度、有效期等内容。请以实际环境为准。

免费服务支持以下两种模式：

• 模式一：免费服务的额度无限制，无需领取即可使用，有失效时间，在失效时间之前可免费使用。失效时间可以在“预置服务 > 免费服务”页签的“失效时间”列查看。
• 模式二：免费服务的额度有限制，需要领取后使用。

使用免费服务进行推理

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“在线推理”，在“预置服务”页签，单击“免费服务”页签。
3. 在“免费服务”页签，任选以下方式免费使用预置服务。
   • 方式一：在业务环境中调用模型服务的API进行推理。

     在目标服务右侧，单击操作列的“调用说明”，在“调用说明”页面获取调用示例，在业务环境中调用API进行体验。操作指导请参见调用ModelArts Studio（MaaS）部署的模型服务。

     • 预置服务默认启用内容审核，且“调用说明”页面不显示该参数。
     • 当您调用模型服务的API，返回状态码“429 Too Many Requests”时，表示请求超过流控，请稍后重新调用。
   • 方式二：在“文本对话”页面进行推理。

     在目标服务右侧，单击“操作”列的“在线体验”，跳转到“文本对话”页面，开始问答体验。操作指导请参见在ModelArts Studio（MaaS）体验文本对话。

     图1 修改参数
     

     您可以在右上角单击“参数设置”，按需修改相关参数，以获取更好的推理效果。

     表1 参数设置

     参数	说明
     温度/Temperature	设置推理温度，用于控制生成文本的随机性和创造性，Temperature数值越大随机性越大。 数值较低，输出结果更加集中和确定。 数值较高，输出结果更加随机，更有创意性。 取值范围：0~2 默认值：不同模型的默认值不同，请以实际环境为准。
     核采样/top_p	设置推理核采样，用于调整输出文本的多样性，top_p数值越大，生成文本的多样性就越高。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：0.1~1 默认值：不同模型的默认值不同，请以实际环境为准。 详细解释：top_p可以设置tokens候选列表的大小，将可能性之和刚好超过设定值P的top tokens列入候选名单，然后从候选名单中随机采样，生成一个token。
     top_k	用于控制输出tokens的多样性，top_k值越大输出的tokens类型越丰富。选择在模型的输出结果中选择概率最高的前K个结果。 数值较低，输出可选的tokens类型越少，更有确定性。 数值较高，输出可选的tokens类型越多，更有多样性。 取值范围：1~1000 默认值：20 详细解释：top_k可以设置保留概率最高的前K个tokens，从中随机抽取一个token作为最终输出。这种方法可以限制输出序列的长度，并仍然保持样本的一定多样性。

后续操作

• 查看免费服务调用数据：在“免费服务”页签，单击“调用统计”列的图标，可以查看目标服务的调用次数、Tokens数、首Token时延等指标信息。详细信息，请参见在ModelArts Studio（MaaS）查看在线推理的调用数据和监控指标。
• 当免费Token额度用完或者免费服务失效，您可以部署为我的服务付费使用，或开通商用服务付费使用。
  • 部署为我的服务付费使用：在“在线推理”页面，单击“我的服务”页签，在右上角单击“部署模型服务”，进行相关配置。操作指导请参见使用ModelArts Studio（MaaS）部署模型服务。

    模型服务部署成功后，可以使用我的服务进行体验或调用等操作。具体操作，请参见在MaaS体验模型服务和调用MaaS部署的模型服务。

  • 开通商用服务付费使用：在“预置服务 > 商用服务”页签，开通商用服务。操作指导请参见在ModelArts Studio（MaaS）预置服务中开通商用服务。

    开通商用服务后，可以使用预置服务进行体验或调用等操作。具体操作，请参见在MaaS体验模型服务和调用MaaS部署的模型服务。