在ModelArts Studio（MaaS）预置服务中创建自定义接入点

场景描述

在企业和开发者的AI应用开发与运营过程中，面临着推理服务调用管理无序、流量控制困难、成本核算模糊等问题。多个业务线共用同一推理服务，导致资源争抢、服务性能不稳定，同时缺乏有效的调用限制手段，难以追溯各业务模块的资源消耗情况。

MaaS支持自定义接入点功能，通过创建独立的调用入口，允许用户设置限流规则，并基于自定义接入点名称实现费用的精准统计，帮助用户高效管理推理服务资源，优化使用成本。

商用服务、免费服务与自定义接入点的区别

• 免费服务：仅提供基础体验能力，且存在严格的速率限制。平台可能会不定期调整其适用模型、免费额度、有效期等内容，请以实际环境为准。免费服务仅适用于体验模型。
• 商用服务：提供商用级别的API推理服务，开通后您可以获取付费API服务。商用服务适用于需要商用级稳定性、更高调用频次和专业支持的场景。
• 自定义接入点：可根据业务需求创建自定义接入点。自定义接入点支持独立设置流控、独立出账及独立监控能力。

约束限制

• 最多可以同时存在10个自定义接入点。
• 同一账户下不允许存在同名的自定义接入点。已删除的接入点名称不允许新建时使用。
• 自定义接入点创建后，不支持修改模型服务。
• 创建的自定义接入点需遵循平台相关的规则和规范，不得进行违规调用。

计费说明

自定义接入点功能本身不收费。调用模型服务或使用资源可能会产生费用。您可以通过接入点名称在费用中心查询服务使用账单。

调用在线推理-预置服务中的商用服务：按Token计费，计费模式与所选基础模型的计费模式一致。关于计费详情，请参见ModelArts Studio（MaaS）模型推理计费项。

前提条件

已在MaaS开通预置服务中的商用服务。具体操作，请参见在ModelArts Studio（MaaS）预置服务中开通商用服务。

创建自定义接入点

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“在线推理”。
3. 在“预置服务”页签，单击“自定义接入点”页签，在页面右上角单击“创建自定义接入点”。
4. 在“创建自定义接入点”面板，配置相关参数。

   表1 创建自定义接入点参数说明

   参数	说明
   名称	自定义接入点的名称。自定义接入点名称具有唯一性，不能重复，不支持特殊字符。输入长度范围为1~64个字符。
   描述	自定义接入点的描述，最多支持256字符。
   服务来源	选择“商用服务”。 商用服务：在线推理-预置服务中的商用服务。
   模型	“服务来源”为“商用服务”：单击“选择模型服务”，在“选择模型服务”对话框，按需选择模型服务的版本，单击“确定”。 默认支持预置服务中的全部商用服务（开通和未开通），免费服务不支持。
   模型限流	仅“模型来源”选择商用模型，显示该参数。 选择商用模型后，会显示当前账号下访问该模型服务的总限流。 RPM（Requests Per Minute）：每分钟处理的请求数。 TPM（Tokens Per Minute）：每分钟处理的Tokens数（输入+输出）。
   接入点流量控制	勾选“接入点流量控制”，手动设置接入点的RPM和TPM流控。如果该账号下访问同一模型的所有接入点限流总和等于该模型的总限流额度，就能有效避免不同接入点之间争夺流量配额。 用户可以针对每个接入点设置不同的RPM和TPM流控，但不能超过账号的模型限流值。 RPM和TPM流控需为正整数。

5. 确认配置信息及计费无误后，单击“立即创建”。

   创建成功后，“自定义接入点”页签会显示接入点的相关信息，您可以进行调用、在线体验等操作。

在线体验自定义接入点

只有当自定义接入点的“状态”为“使用中”，才能进行在线体验。

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“在线推理”。
3. 在“预置服务”页签，单击“自定义接入点”页签，在目标接入点的“操作”列，单击“在线体验”。

   关于在线体验的更多信息，请参见在ModelArts Studio（MaaS）体验文本对话。

调用自定义接入点

只有当自定义接入点的“状态”为“使用中”，才能被成功调用。服务调用产生的内容由AI生成，不代表MaaS观点，平台不保证其合法性、真实性、准确性，不承担相关法律责任。

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“在线推理”。
3. 在“预置服务”页签，单击“自定义接入点”页签，在目标接入点的“操作”列，单击“调用说明”。
4. 在“调用说明”页面，按照页面提示获取API Key，复制调用示例并替换接口信息、API Key，进行API调用。
   • 在“自定义接入点”页签的“model参数”列显示的名称，为调用服务时代码的model参数值。用户可以根据不同的model参数进行不同接入点的调用。
   • 关于如何创建API Key，请参见在ModelArts Studio（MaaS）管理API Key。
   • 关于调用示例的参数说明，请参见调用ModelArts Studio（MaaS）部署的模型服务。

查看自定义接入点的调用统计

您可以查看自定义接入点在指定时间段内的调用数据和监控指标详情，包括调用次数、调用失败次数、调用总Tokens数等信息，了解服务的使用情况和性能变化，从而更有效地进行模型评估、问题定位、故障排除和性能优化。

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“在线推理”。
3. 在“预置服务”页签，单击“自定义接入点”页签，在目标接入点的“调用统计”列，单击图标，跳转至“服务调用详情”页面，查看调用详情。

   关于调用统计的更多信息，请参见在ModelArts Studio（MaaS）查看在线推理的调用数据和监控指标。

编辑自定义接入点

您可以按需修改自定义接入点信息，例如描述、限流等。自定义接入点的模型服务不支持修改。

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“在线推理”。
3. 在“预置服务”页签，单击“自定义接入点”页签，在目标接入点的“操作”列，单击“更多 > 编辑”。
4. 在“编辑自定义接入点”面板，按需修改相关参数，单击“更新”。

   关于参数说明，请参见表 创建自定义接入点参数说明。

停用/启用自定义接入点

当自定义接入点“状态”为“使用中”，可以停用自定义接入点。停用接入点后，该接入点的推理能力将停用，支持重新启用。由于出账存在时延，可能在您停用后仍会收到由该服务产生的账单。

当自定义接入点“状态”为“停用”，可以启用自定义接入点。

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“在线推理”，在“预置服务”页签按需选择以下操作。
   • 停用自定义接入点
     1. 单击“自定义接入点”页签，在目标接入点的“操作”列，单击“更多 > 停用”。
     2. 在“停用自定义接入点”对话框，输入YES，单击“确定”。

        停用后，该接入点的状态会显示为“停用”。

   • 启用自定义接入点
     1. 单击“自定义接入点”页签，在目标接入点的“操作”列，单击“更多 > 启用”。
     2. 在“启用”对话框，单击“确定”。

        启用后，该接入点的状态会显示为“使用中”。

删除自定义接入点

当自定义接入点不再需要时，您可以进行删除操作。删除后，该接入点的推理能力将停用，全部信息将被删除且无法恢复，请谨慎操作。

由于出账存在时延，可能在您删除后仍会收到由该服务产生的账单。

1. 登录ModelArts Studio（MaaS）控制台，在顶部导航栏选择目标区域。
2. 在左侧导航栏，选择“在线推理”。
3. 在“预置服务”页签，单击“自定义接入点”页签，在目标接入点的“操作”列，单击“更多 > 删除”。
4. 在“删除自定义接入点”对话框，查看删除提示信息，确认无误后输入DELETE，单击“确定”。

   删除后，“自定义接入点”页签将不再显示该接入点。

常见问题

• 创建的自定义接入点数量达到上限怎么办？

  您可以删除不再使用的接入点，然后新建接入点。

• 如何确定Tokens的消耗数量？

  您可以通过以下两种方式查看Tokens的消耗数量。

  • 通过“调用统计”页面查看模型服务调用的总Tokens数、输入Tokens数、输出Tokens数等信息，详情请参见查看自定义接入点的调用统计。
  • 在费用中心通过自定义接入点名称查询账单详情（该方式仅支持商用模型接入点）。账单中会显示接入点的输入Tokens数、输出Tokens数等信息。
• 修改自定义接入点的限流设置后，多久会生效？

  修改保存后，限流设置会立即生效，后续调用将按照新规则执行。