Creación de una aplicación de IA con un motor personalizado

Especificaciones para utilizar un motor personalizado para crear una aplicación de IA

Para utilizar un motor personalizado a crear una aplicación de IA, asegúrese de que la imagen de SWR, el paquete del modelo de OBS y el tamaño del archivo cumplan con los siguientes requisitos:

Ejemplo de HTTPS

Utilice Flask para iniciar HTTPS. A continuación se muestra un ejemplo del código del servidor web:

from flask import Flask, request
import json 

app = Flask(__name__)

@app.route('/greet', methods=['POST'])
def say_hello_func():
    print("----------- in hello func ----------")
    data = json.loads(request.get_data(as_text=True))
    print(data)
    username = data['name']
    rsp_msg = 'Hello, {}!'.format(username)
    return json.dumps({"response":rsp_msg}, indent=4)

@app.route('/goodbye', methods=['GET'])
def say_goodbye_func():
    print("----------- in goodbye func ----------")
    return '\nGoodbye!\n'


@app.route('/', methods=['POST'])
def default_func():
    print("----------- in default func ----------")
    data = json.loads(request.get_data(as_text=True))
    return '\n called default func !\n {} \n'.format(str(data))

@app.route('/health', methods=['GET'])
def healthy():
    return "{\"status\": \"OK\"}"

# host must be "0.0.0.0", port must be 8080
if __name__ == '__main__':
    app.run(host="0.0.0.0", port=8080, ssl_context='adhoc')

Depuración en un equipo local

Realice las siguientes operaciones en una computadora local con Docker instalado para verificar si un motor personalizado cumple con las especificaciones:

1. Descargue la imagen personalizada, por ejemplo, custom_engine:v1 en la computadora local.
2. Copie la carpeta del paquete de modelo model en el host local.
3. Ejecute el siguiente comando en el mismo directorio que la carpeta del paquete modelo para iniciar el servicio:

   docker run --user 1000:100 -p 8080:8080 -v model:/home/mind/model    custom_engine:v1

   

   Este comando solo se utiliza para simulaciones porque el directorio montado en -v tiene asignado el permiso de root. En el entorno de nube, después de descargar el archivo de modelo desde OBS a /home/mind/model, el propietario del archivo se cambia a ma-user.

4. Inicie otro terminal en el equipo local y ejecute el siguiente comando para obtener el resultado de inferencia esperado:

   curl https://127.0.0.1:8080/${Request path to the inference service}

Ejemplo de despliegue

En la siguiente sección se describe cómo utilizar un motor personalizado para crear una aplicación de IA.

1. Cree una aplicación de IA y vea sus detalles.

   Inicie sesión en la consola de ModelArts, seleccione AI Application Management > AI Applications y haga clic en Create. En la página que aparece, configure los siguientes parámetros:

   • Meta Model Source: OBS
   • Meta Model: un paquete de modelo seleccionado de OBS
   • AI Engine: Custom
   • Engine Package: una imagen de SWR

     Mantenga la configuración predeterminada para otros parámetros.

   Haga clic en Create Now. En la lista de aplicaciones de IA que aparece en pantalla, compruebe el estado de la aplicación de IA. Cuando su estado cambia a Normal, se crea la aplicación de IA.

   Figura 1 Creación de una aplicación de IA
   

   Haga clic en el nombre de la aplicación de IA. En la página que aparece, vea detalles sobre la aplicación de IA.

2. Despliegue la aplicación de IA como servicio y consulte los detalles del servicio.

   En la página de detalles de la aplicación de IA, seleccione Deploy > Real-Time Services en la esquina superior derecha. En la página Deploy, seleccione una especificación de nodo de cómputo adecuada (por ejemplo, CPU: 2 vCPUs 8 GB), mantenga la configuración por defecto de otros parámetros y haga clic en Next. Cuando el estado del servicio cambia a Running, se despliegue ese servicio.

   Haga clic en el nombre del servicio. En la página que aparece, vea los detalles del servicio. Haga clic en la pestaña Logs para ver los logs de servicio.

   Figura 2 Logs
   
3. Utilice el servicio para predicciones.

   En la página de detalles del servicio, haga clic en la ficha Prediction para utilizar el servicio de predicción.

   Figura 3 Predicción