模型推理代码编写说明

推理代码编写指导

1. 在模型代码推理文件“customize_service.py”中，需要添加一个子类，该子类继承对应模型类型的父类，各模型类型的父类名称和导入语句如表1所示。导入语句所涉及的Python包在ModelArts环境中已配置，用户无需自行安装。

   表1 各模型类型的父类名称和导入语句

   模型类型	父类	导入语句
   TensorFlow	TfServingBaseService	from model_service.tfserving_model_service import TfServingBaseService
   PyTorch	PTServingBaseService	from model_service.pytorch_model_service import PTServingBaseService
   MindSpore	SingleNodeService	from model_service.model_service import SingleNodeService

2. 可以重写的方法有以下几种。

   表2 重写方法

   方法名	说明
   __init__(self, model_name, model_path)	初始化方法，适用于深度学习框架模型。该方法内加载模型及标签等（pytorch和caffe类型模型必须重写，实现模型加载逻辑）。
   __init__(self, model_path)	初始化方法，适用于机器学习框架模型。该方法内初始化模型的路径（self.model_path）。在Spark_MLlib中，该方法还会初始化SparkSession（self.spark）。
   _preprocess(self, data)	预处理方法，在推理请求前调用，用于将API接口输入的用户原始请求数据转换为模型期望输入数据。
   _inference(self, data)	实际推理请求方法（不建议重写，重写后会覆盖ModelArts内置的推理过程，运行自定义的推理逻辑）。
   _postprocess(self, data)	后处理方法，在推理请求完成后调用，用于将模型输出转换为API接口输出。

   

   • 用户可以选择重写preprocess和postprocess方法，以实现API输入数据的预处理和推理输出结果的后处理。
   • 重写模型父类的初始化方法init可能导致AI应用“运行异常”。
3. 可以使用的属性为模型所在的本地路径，属性名为“self.model_path”。另外pyspark模型在“customize_service.py”中可以使用“self.spark”获取SparkSession对象。
   

   推理代码中，需要通过绝对路径读取文件。模型所在的本地路径可以通过self.model_path属性获得。

   • 当使用TensorFlow、Caffe、MXNet时，self.model_path为模型文件目录路径，读取文件示例如下：

     # model目录下放置label.json文件，此处读取
     with open(os.path.join(self.model_path, 'label.json')) as f:
         self.label = json.load(f)

   • 当使用PyTorch、Scikit_Learn、pyspark时，self.model_path为模型文件路径，读取文件示例如下：

     # model目录下放置label.json文件，此处读取     
     dir_path = os.path.dirname(os.path.realpath(self.model_path))
     with open(os.path.join(dir_path, 'label.json')) as f:
         self.label = json.load(f)

4. 预处理方法、实际推理请求方法和后处理方法中的接口传入“data”当前支持两种content-type，即“multipart/form-data”和“application/json”。
   • “multipart/form-data”请求

     curl -X POST \
       <modelarts-inference-endpoint> \
       -F image1=@cat.jpg \
       -F images2=@horse.jpg

     对应的传入data为

     [
        {
           "image1":{
              "cat.jpg":"<cat.jpg file io>"
           }
        },
        {
           "image2":{
              "horse.jpg":"<horse.jpg file io>"
           }
        }
     ]

   • “application/json”请求

      curl -X POST \
        <modelarts-inference-endpoint> \
        -d '{
         "images":"base64 encode image"
         }'

     对应的传入data为python dict

      {
         "images":"base64 encode image"
      }

TensorFlow的推理脚本示例

在上面的代码示例中，完成了将用户表单输入的图片的大小调整，转换为可以适配模型输入的shape。首先通过Pillow库读取“32×32”的图片，调整图片大小为“1×784”以匹配模型输入。在后续处理中，转换模型输出为列表，用于Restful接口输出展示。

XGBoost的推理脚本示例

更多机器学习引擎的推理代码请参考Pyspark、Scikit Learn。

# coding:utf-8
import collections
import json
import xgboost as xgb
from model_service.python_model_service import XgSklServingBaseService


class UserService(XgSklServingBaseService):

    # request data preprocess
    def _preprocess(self, data):
        list_data = []
        json_data = json.loads(data, object_pairs_hook=collections.OrderedDict)
        for element in json_data["data"]["req_data"]:
            array = []
            for each in element:
                array.append(element[each])
                list_data.append(array)
        return list_data

    #   predict
    def _inference(self, data):
        xg_model = xgb.Booster(model_file=self.model_path)
        pre_data = xgb.DMatrix(data)
        pre_result = xg_model.predict(pre_data)
        pre_result = pre_result.tolist()
        return pre_result

    # predict result process
    def _postprocess(self, data):
        resp_data = []
        for element in data:
            resp_data.append({"predict_result": element})
        return resp_data

自定义推理逻辑的推理脚本示例

首先，需要在配置文件中，定义自己的依赖包，详细示例请参见使用自定义依赖包的模型配置文件示例。然后通过如下示例代码，实现了“saved_model”格式模型的加载推理。

当前推理基础镜像使用的python的logging模块，采用的是默认的日志级别Warnning，即当前只有warning级别的日志可以默认查询出来。如果想要指定INFO等级的日志能够查询出来，需要在代码中指定logging的输出日志等级为INFO级别。

MindSpore的推理脚本示例

• snt3芯片目前只有北京四提工单申请权限后才可以使用，支持模型格式为.om，推理脚本如下：

  from __future__ import absolute_import
  from __future__ import division
  from __future__ import print_function
  
  import json
  import os
  
  import numpy as np
  from PIL import Image
  from hiai.nn_tensor_lib import NNTensor
  from hiai.nntensor_list import NNTensorList
  from model_service.hiai_model_service import HiaiBaseService
  
  class DemoService(HiaiBaseService):
    def __init__(self, *args, **kwargs):
  	# 默认加载模型包目录下的om文件
  	super(DemoService, self).__init__(*args, **kwargs)
  	self.labels_list = None
  	self.is_multilabel = False
  
    def _preprocess(self, data):
  	preprocessed_data = {}
  	images = []
  	for k, v in data.items():
  	  for file_name, file_content in v.items():
  	  image = Image.open(file_content)
  	  image = np.array(image)  # NHWC
  	  # AIPP should use RGB format.
  	  # mean reg is applied in AIPP.
  	  # Transpose is applied in AIPP
  	  tensor = NNTensor(image)
  	  images.append(tensor)
  	  tensor_list = NNTensorList(images)
  	preprocessed_data['images'] = tensor_list
  	return preprocessed_data
  
    def _inference(self, data, image_info=None):
  	result = {}
  	for k, v in data.items():
  	  result[k] = self.model.proc(v)
  	return result
  
    def _postprocess(self, data):
  	# 这里增加自己的后处理
  	return str(data)