Especificaciones para escribir el código de inferencia de modelo

Especificaciones para compilar código de inferencia

1. En el archivo de código de inferencia de modelo customize_service.py, agregue una clase de modelo hijo. Esta clase de modelo hijo hereda las propiedades de su clase de modelo padre. Para obtener más información sobre las instrucciones de importación de diferentes tipos de clases de modelo padre, consulte Tabla 1.

   Tabla 1 Importar instrucciones de diferentes tipos de clases de modelo padre

   Tipo de modelo	Clase primaria	Instrucción de importación
   TensorFlow	TfServingBaseService	from model_service.tfserving_model_service import TfServingBaseService
   PyTorch	PTServingBaseService	from model_service.pytorch_model_service import PTServingBaseService
   MindSpore	SingleNodeService	from model_service.model_service import SingleNodeService

2. Se pueden reescribir los siguientes métodos:

   Tabla 2 Métodos a reescribir

   Método	Descripción
   __init__(self, model_name, model_path)	Método de inicialización, que es adecuado para modelos creados basados en marcos de aprendizaje profundo. Los modelos y las etiquetas se cargan con este método. Este método debe ser reescrito para modelos basados en PyTorch y Caffe para implementar la lógica de carga del modelo.
   __init__(self, model_path)	Método de inicialización, que es adecuado para modelos creados basados en marcos de aprendizaje automático. La ruta del modelo (self.model_path) se inicializa usando este método. En Spark_MLlib, este método también inicializa SparkSession (self.spark).
   _preprocess(self, data)	Método de preproceso, que se llama antes de una solicitud de inferencia y se usa para convertir los datos de solicitud originales de una API en los datos de entrada esperados de un modelo
   _inference(self, data)	Método de solicitud de inferencia. No se recomienda volver a escribir el método porque una vez que se haya reescrito, el proceso de inferencia integrado de ModelArts se sobrescribirá y se ejecutará la lógica de inferencia personalizada.
   _postprocess(self, data)	Método de posprocesamiento, que se llama después de completar una solicitud de inferencia y se utiliza para convertir la salida del modelo en la salida de la API

   NOTA:

   • Puede elegir reescribir los métodos de preproceso y postproceso para implementar el preprocesamiento de la entrada de API y el postprocesamiento de la salida de inferencia.
   • La reescritura del método init de la clase de modelo padre puede hacer que una aplicación de IA se ejecute de forma anormal.
3. El atributo que se puede utilizar es la ruta local donde reside el modelo. El nombre del atributo es self.model_path. Además, los modelos basados en PySpark pueden usar self.spark para obtener el objeto de SparkSession en customize_service.py.
   NOTA:

   Se requiere una ruta absoluta para leer archivos en el código de inferencia. Puede obtener la ruta local del modelo desde el atributo self.model_path.

   • Cuando se utiliza TensorFlow, Caffe o MXNet, self.model_path indica la ruta del archivo de modelo. Vea el siguiente ejemplo:

     # Store the label.json file in the model directory. The following information is read:
     with open(os.path.join(self.model_path, 'label.json')) as f:
         self.label = json.load(f)

   • Cuando se utiliza PyTorch o PySpark, self.model_path indica la ruta del archivo de modelo. Vea el siguiente ejemplo:

     # Store the label.json file in the model directory. The following information is read:
     dir_path = os.path.dirname(os.path.realpath(self.model_path))
     with open(os.path.join(dir_path, 'label.json')) as f:
         self.label = json.load(f)
4. data importados a través de la API para el procesamiento previo, la solicitud de inferencia real y el procesamiento posterior pueden ser multipart/form-data o application/json.
   • Solicitud de multipart/form-data

     curl -X POST \
       <modelarts-inference-endpoint> \
       -F image1=@cat.jpg \
       -F images2=@horse.jpg

     Los datos de entrada correspondientes son los siguientes:

     [
        {
           "image1":{
              "cat.jpg":"<cat.jpg file io>"
           }
        },
        {
           "image2":{
              "horse.jpg":"<horse.jpg file io>"
           }
        }
     ]
   • Solicitud de application/json

      curl -X POST \
        <modelarts-inference-endpoint> \
        -d '{
         "images":"base64 encode image"
         }'

     El dato de entrada correspondiente es python dict.

      {
         "images":"base64 encode image"
      }

Ejemplo de script de inferencia de TensorFlow