更新时间:2024-03-21 GMT+08:00

推理服务测试

推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。

示例代码

在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权

场景:部署在线服务Predictor的推理预测
1
2
3
4
5
6
7
from modelarts.session import Session
from modelarts.model import Predictor

session = Session()
predictor_instance = Predictor(session, service_id="your_service_id")
predict_result = predictor_instance.predict(data=data_path, data_type=data_type)
print(predict_result)

参数说明

表1 参数说明

参数

是否必选

参数类型

描述

data_type

String

当前支持三种格式:files、images、json, 即文本、图片、json格式。

data

String

  • 针对files、images类型的数据, 该参数为其本地路径,如 :
    data = "/home/ma-user/work/test.jpg"
  • 针对json类型的数据, 该参数可以是其本地路径,如:
    data = "/home/ma-user/work/test.json"
    同时也可以为“dict”类型的变量 ,如:
    data = {
      "is_training": "False",
      "observations": [[1,2,3,4]],
      "default_policy/eps:0" : "0.0"
    }

path

String

服务内的推理路径,默认为"/"。

表2 predict返回参数说明

参数

描述

返回消息体

输出的参数和值,平台只做转发,不做识别。