模型服务介绍
模型服务(Model Serving)是指将机器学习模型部署为服务,以便其他应用程序或系统可以调用这些模型进行预测或决策。模型服务是机器学习生命周期中的一个重要环节,它使得模型能够从开发环境顺利过渡到生产环境,从而实现商业价值。
在AgentArts中,模型服务为智能体提供了最核心的智能,使智能体能够自主、智能地完成复杂任务。
模型服务分类
为满足不同用户的技术能力、业务场景及需求,AgentArts提供了多样化的模型服务模式。以下从模型来源对各类模型服务进行介绍,具体如表1所示。
|
分类 |
特征 |
使用流程 |
|---|---|---|
|
平台预置的模型服务 |
由供应商部署,平台接入供应商提供的模型服务API。 目前预置了ModelArts Studio (MaaS)的模型服务。目前支持的模型类型为图像理解、视频生成、图片生成、文本对话、向量模型(文本向量化)、文本排序,其中视频生成、图片生成暂不可用。 |
|
|
用户自主接入的模型服务 |
由用户或第三方部署在外部环境,平台调用外部已存在的模型服务API。 |
平台预置的模型服务:这些模型服务由ModelArts Studio (MaaS)部署,系统通过接入其API实现对接。开通AgentArts后,即可免费使用2,000,000tokens。免费额度用完后,需要开通ModelArts Studio (MaaS)服务及模型,配置模型鉴权参数,即可便捷地调测和使用。具体操作请参考开通预置的模型服务。
用户自主接入的模型服务:为了满足用户对模型的个性化及专业化需求,AgentArts支持接入由用户或第三方部署在外部环境的模型服务API。具体操作请参考接入自定义的模型服务。
费用说明
平台预置的模型服务:开通AgentArts后,目前支持免费使用2,000,000tokens,优先使用免费额度,具体使用情况可以在资源管理中查看。免费额度用完后,开通的模型计费请参考ModelArts Studio(MaaS)模型服务价格。
用户自主接入的模型服务:接入的模型服务,用户在使用时,AgentArts侧不计费,模型供应商侧如果计费,计费规则请参考模型供应商侧的计费规则。