使用API调用边缘部署的科学计算大模型

获取科学计算大模型API请求地址

API接口域名可以在“模型开发 > 模型部署”页面获取。获取方式如下：

单击模型名称，进入详情页面，通过访问协议 + ELB IP + ELB负载端口 + API URL拼接获得完整的API URL。

如访问协议为HTTP，ELB IP为 100.100.100.xxx，ELB负载端口为33333，API URL为 /abccc/，最终拼接获得完整的API URL为 http://100.100.100.xxx:33333/abccc/，参考以下方式获取相关参数信息。(如果url中的IP为私网IP，外部访问时需绑定公网IP，替换后进行调用)。

获取相关参数信息

1. 登录ModelArts Studio平台，在“我的空间”模块，单击进入所需空间。
2. 在左侧导航栏中选择“模型开发 > 模型部署”，单击“模型名称”在“详情”页面获取API URL相关参数，得到完整的API URL并拼接/v2/{deployment_id}/tasks。deployment_id为模型的部署ID，可在模型训练部署完成后，单击模型部署列表中的模型，进入详情页获取。

   只有处于“运行中”状态的模型才可以正常调用。

   图1 获取科学计算大模型API请求地址
   

使用API调用科学计算大模型

1. 在Postman中新建POST请求，并填入API请求地址。
2. 调用API有两种认证方式，包括Token认证和API Key认证。其中，API Key认证的使用场景为当用户部署的API服务期望开放给其他用户调用时，原有Token认证无法支持，可通过API Key认证调用请求。
   参考表1填写请求Header参数。

   表1 请求Header参数填写说明

   认证方式	参数名	参数值
   Token认证	Content-Type	application/json
   	X-Auth-Token	Token值，参考认证鉴权章节获取Token。
   API Key认证	Content-Type	application/json
   	X-Apig-AppCode	API Key值，获取API Key步骤如下： 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“应用接入”，单击界面右上角“创建应用接入”。 在“关联服务”中，选择“全部服务”，或者在“指定服务”中选择已部署好的大模型，并设置应用接入名称、描述，单击“确定”。 在弹窗中复制API Key的值。注意：API Key仅可在此弹窗中复制一次，请妥善保存。关闭弹窗后，如果忘记API Key值，请重新创建。 说明： 边缘部署模型仅在监控网关访问模式下支持。

   如图2，为Token认证方式的请求Header参数填写示例。

   图2 配置请求参数
   
3. 在Postman中选择“Body > raw”选项，填写请求Body。以下body体仅供参考，data_dirs参数需根据部署的推理模型添加对应数据路径映射，API参数说明详见《API参考》文档。

   {
       "data_dirs": {
           "global-weather": "file:///path/to/data/"
       },
       "output_dir": "file:///path/to/data/",
       "start_times": ["2024010100", "2024010112","2024010118"],
       "forecast_lead_time": "7d",
       "save_data_cache": false,
       "draw_figures": true
   }

4. 单击Postman界面“Send”按钮，发送请求。科学计算大模型API调用成功后，会返回任务ID参数。
5. 在Postman中新建一个GET请求，填入与科学计算大模型API相同的域名（调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考获取科学计算大模型API请求地址获取。）、请求Header参数、任务ID参数。单击Postman界面“Send”按钮，发送请求。获取科学计算大模型调用结果。

   查询推理作业详情API
   GET /v2/{deployment_id}/tasks/{task_id}