模型调用功能介绍

文本生成模型

ModelArts集成了Qwen、DeepSeek类通用大语言模型，模型能力如下所示。

图像理解模型

开始模型调用

在ModelArts平台部署模型后，可以使用模型提供的API接口完成模型调用。您可以在获取到API Key后，使用Curl或代码便能调用模型API完成推理。简单的调用步骤如下：

1. 获取API Key。
   • 在ModelArts管理控制台“模型推理 > 在线推理”页面，单击“API Key授权管理”，切换到“API Key授权管理”页签。
   • 单击“创建”，在“创建API Key”弹框中，填写API KEY信息，授权范围选择“指定在线服务”，单击“确定”。

     创建API KEY后自动下载API Key，后续暂不支持手动下载，请妥善保管。

     如果授权范围选择“全部在线服务”，无需执行后面的绑定服务操作。

   • 单击API KEY操作列的“绑定”，选择要绑定的模型服务后，API Key完成和模型的绑定。
2. 获取访问地址。

   本文部署时默认使用了共享网关。部署完成后，可以在服务详情页获取调用所需的访问地址和Token。

   • 在线服务调用地址：在ModelArts管理控制台“模型推理>在线推理”页面，单击已部署完成的服务，进入详情页，获取服务的“公网调用URL”。
   • 大模型请求URL：Qwen3-32B模型的请求URL为/v1/chat/completions。更多模型请求URL请见模型清单中“请求URL”配置URL名称。

3. 使用Curl或Python进行调用。

   参照该步骤代码，部署好的模型仅需要简单修改调用API的完整URL、模型参数和API Key即可完成推理。修改参数说明如下：

   • 推理API的URL：组合方式为“公网调用URL+大模型请求URL”。获取方式参考步骤2。
   • API Key：获取步骤参考步骤1。
   • 模型参数：在本文开头模型清单表格中获取“Model参数”即为需要调用的模型参数。

   Python

   import requests
   import json
   
   if __name__ == '__main__':
       url = "https://***/v2/infer/***/v1/chat/completions"  # 在线服务的调用地址=公网调用URL+ 大模型请求URL
       api_key = "API_KEY"  # 把API_KEY替换成已获取的API Key
   
       # Send request.
       headers = {
           'Content-Type': 'application/json',
           'Authorization': f'Bearer {api_key}'
       }
       data = {
           "model": "DeepSeek-V31",  # model参数
           "messages": [
               {"role": "system", "content": "You are a helpful assistant."},
               {"role": "user", "content": "你好"}
           ]
       }
       response = requests.post(url, headers=headers, data=json.dumps(data), verify=False)
   
       # Print result.
       print(response.status_code)
       print(response.text)

   Curl（加粗部分文字为需要替换参数）

   curl -X POST "https://***/v2/infer/***/v1/chat/completions" \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer $API_KEY" \
     -d '{
       "model": "DeepSeek-V31",
       "messages": [
         {"role": "system", "content": "You are a helpful assistant."},
         {"role": "user", "content": "你好"}
       ]
     }'