Consulta de detalles del servicio
Después de implementar una aplicación de IA como servicio en tiempo real, puede acceder a la página del servicio para ver sus detalles.
- Inicie sesión en la consola de gestión ModelArts y elija Service Deployment > Real-Time Services.
- En la página Real-Time Services, haga clic en el nombre del servicio de destino. Se muestra la página de detalles del servicio.
Puede ver el nombre del servicio, el estado y otra información. Para más detalles, consulte Tabla 1.
Tabla 1 Parámetros de servicio en tiempo real Parámetro
Descripción
Name
Nombre del servicio en tiempo real.
Status
Estado del servicio en tiempo real.
Source
Fuente de aplicación de IA del servicio en tiempo real.
Service ID
ID de servicio en tiempo real
Failed Calls/Total Calls
Número de llamadas de servicio, que se cuenta desde el momento en que se creó el servicio.
Si se cambia el número de aplicaciones de IA o se invoca un servicio cuando una aplicación de AI no está lista, no se cuenta el número de llamadas.
Description
Descripción del servicio, que se puede editar después de hacer clic en el botón de edición en el lado derecho.
Custom Settings
Configuraciones personalizadas basadas en versiones de servicio en tiempo real. Esto permite configuraciones y políticas de distribución de tráfico basadas en versiones. Active esta opción y haga clic en View Settings para personalizar la configuración. Para más detalles, consulte Modifying Customized Settings.
Traffic Limit
Número máximo de veces que se puede acceder a un servicio en un segundo.
- Puede cambiar entre las pestañas de la página de detalles de un servicio en tiempo real para ver más detalles. Para más detalles, consulte Tabla 2.
Tabla 2 Detalles del servicio Parámetro
Descripción
Usage Guides
Muestra la dirección de API, la información de la aplicación de IA, los parámetros de entrada y los parámetros de salida. Puede hacer clic en
para copiar la dirección API para llamar al servicio. Si se admite la autenticación de la aplicación, puede ver los detalles de gestión de la dirección de la API y de la autorización, incluidos el nombre de la aplicación, el AppKey y el AppSecret en Usage Guides. También puede agregar o cancelar la autorización para una aplicación.
Prediction
Realiza una prueba de predicción en el servicio en tiempo real. Para más detalles, consulte Prueba del servicio implementado.
Configuration Updates
Muestra Existing Configuration y Historical Updates.
- Existing Configuration: incluye el nombre de la aplicación de IA, la versión, el estado, la variante de nodo de cómputo, el número de nodos de cómputo y la relación de tráfico.
- Historical Updates: muestra información histórica de la aplicación de IA.
Monitoring
Muestra Resource Usage y AI Application Calls.
- Resource Usage: incluye las CPU usadas y disponibles, la memoria y la GPU.
- AI Application Calls: indica el número de llamadas de aplicación de IA. La recopilación de estadísticas comienza después de que el estado de la aplicación de IA cambie a Ready.
Logs
Muestra la información de log de cada aplicación de IA en el servicio. Puede ver los registros generados en los últimos 5 minutos, los últimos 30 minutos, las últimas 1 hora y el segmento de tiempo definido por el usuario.
Puede seleccionar la hora de inicio y la hora de finalización al definir el segmento de tiempo.
Modifying Customized Settings
Una regla de configuración personalizada consiste en la condición de configuración (Setting), la versión de acceso (Version) y los parámetros de ejecución personalizados (incluidos Setting Name y Setting Value).
Puede configurar diferentes ajustes con parámetros de ejecución personalizados para diferentes versiones de un servicio en tiempo real.
Las prioridades de las reglas de configuración personalizadas están en orden descendente. Puede cambiar las prioridades arrastrando la secuencia de reglas de configuración personalizadas.
Una vez coincidente una regla, el sistema ya no coincidirá con las reglas posteriores. Se puede configurar un máximo de 10 reglas de configuración.
Parámetro |
Obligatorio |
Descripción |
---|---|---|
Setting |
Sí |
Expresión de la regla Spring Expression Language (SPEL). Solo se admiten las expresiones igual, coinciden y hashCode del tipo de carácter. |
Version |
Sí |
Versión de acceso para una regla de configuración de servicio personalizada. Cuando se coincide con una regla, se solicita el servicio en tiempo real de la versión. |
Setting Name |
No |
Clave de un parámetro de ejecución personalizado, que consta de un máximo de 128 caracteres. Configure este parámetro si el encabezado del mensaje HTTP se utiliza para llevar parámetros de ejecución personalizados a un servicio en tiempo real. |
Setting Value |
No |
Valor de un parámetro de ejecución personalizado, que consta de un máximo de 256 caracteres. Configure este parámetro si el encabezado del mensaje HTTP se utiliza para llevar parámetros de ejecución personalizados a un servicio en tiempo real. |
La configuración personalizada se puede utilizar en los siguientes escenarios:
- Si se implementan varias versiones de un servicio en tiempo real para el inicio cerrado, se pueden usar configuraciones personalizadas para distribuir el tráfico por usuario.
Tabla 4 Variables incorporadas Variable incorporada
Descripción
DOMAIN_NAME
Nombre de cuenta que se utiliza para invocar la solicitud de inferencia
DOMAIN_ID
ID de cuenta que se utiliza para invocar la solicitud de inferencia
PROJECT_NAME
Nombre del proyecto que se utiliza para invocar la solicitud de inferencia
PROJECT_ID
ID de proyecto que invoca la solicitud de inferencia
USER_NAME
Nombre de usuario que se utiliza para invocar la solicitud de inferencia
USER_ID
ID de usuario que se utiliza para invocar la solicitud de inferencia
La clave Pound (#) indica que se hace referencia a una variable. La string de caracteres coincidentes debe estar entre comillas simples.
#{Built-in variable} == 'Character string' #{Built-in variable} matches 'Regular expression'
- Ejemplo 1:
Si el nombre de cuenta para invocar la solicitud de inferencia es User A, la versión especificada coincide.
#DOMAIN_NAME == 'User A'
- Ejemplo 2:
Si el nombre de cuenta en la solicitud de inferencia comienza con op, la versión especificada coincide.
#DOMAIN_NAME matches 'op.*'
Tabla 5 Expresiones regulares comunes Carácter
Descripción
.
Coincide con cualquier carácter, excepto \n. Para que coincida con cualquier carácter, incluido \n, utilice (.|\n).
*
Coincide con la subexpresión que sigue para cero o varias veces. Por ejemplo, zo* puede coincidir con z y zoo.
+
Coincide con la subexpresión que sigue una o varias veces. Por ejemplo, zo+ puede coincidir con zo y zoo, pero no puede igualar z.
?
Coincide con la subexpresión que sigue durante cero o una vez. Por ejemplo, do(es)? puede igualar does o do en does.
^
Coincide con el inicio de la string de entrada.
$
Coincide con el final de la string de entrada.
{n}
Coincidencia para el número especificado por n, un entero no negativo. Por ejemplo, o{2} no puede coincidir con o en Bob, pero puede coincidir con dos o en food.
x|y
Coincide con x o y. Por ejemplo, z|food puede coincidir con z o food, y (z|f)ood puede coincidir con zood o food.
[xyz]
Coincide con cualquier carácter único contenido en un juego de caracteres. Por ejemplo, [abc] puede coincidir con a en plain.
Figura 1 Distribución del tráfico por usuario
- Ejemplo 1:
- Si se implementan varias versiones de un servicio en tiempo real para el inicio cerrado, se pueden usar configuraciones personalizadas para acceder a diferentes versiones a través del encabezado.
Comience con #HEADER_, indicando que la cabecera es referenciada como una condición.
#HEADER_{key} == '{value}' #HEADER_{key} matches '{value}'
- Ejemplo 1:
Si el encabezado de una solicitud HTTP de inferencia contiene una versión y el valor es 0.0.1, se cumple la condición. De lo contrario, la condición no se cumple.
#HEADER_version == '0.0.1'
- Ejemplo 2:
Si el encabezado de una solicitud HTTP de inferencia contiene testheader y el valor comienza con mock, la regla coincide.
#HEADER_testheader matches 'mock.*'
- Ejemplo 3:
Si el encabezado de una solicitud HTTP de inferencia contiene uid y el valor del código hash cumple las condiciones descritas en el siguiente algoritmo, la regla coincide.
#HEADER_uid.hashCode() % 100 < 10
Figura 2 Usar el encabezado para acceder a diferentes versiones
- Ejemplo 1:
- Si una versión de servicio en tiempo real admite diferentes configuraciones de ejecución, puede usar Setting Name y Setting Value para especificar parámetros de ejecución personalizados para que diferentes usuarios puedan usar diferentes configuraciones de ejecución.
Por ejemplo:
Cuando el usuario A accede a la aplicación de IA, el usuario utiliza la configuración A. Cuando el usuario B accede a la aplicación de IA, el usuario utiliza la configuración B. Cuando se coincide con una configuración en ejecución, el ModelArts agrega un encabezado a la solicitud y también los parámetros de ejecución personalizados especificados por Setting Name y Setting Value.Figura 3 Parámetros de ejecución personalizados agregados para una regla de configuración personalizada