Inventario de buckets

Escenario de la aplicación

Un inventario de buckets puede enumerar objetos de un bucket, guardar la información de objeto relacionada en archivos CSV y entregar los archivos CSV al bucket especificado para almacenar archivos de inventario de buckets. De esta manera, puede gestionar fácilmente objetos en un bucket. Un bucket de origen también puede ser el bucket de destino.

• Un archivo de inventario de bucket puede contener la siguiente información relacionada con el objeto: versiones, tamaños, clases de almacenamiento, etiquetas, estados de cifrado y tiempo de última modificación.
• Puede cifrar los archivos de inventario de buckets en el modo SSE-KMS.
• Puede establecer la frecuencia (diaria o semanal) para generar archivos de inventario de buckets.
• También puede especificar un bucket para almacenar los archivos de inventario de bucket generados.

Restricciones

• Los inventarios de bucket solo se pueden generar para cubetas OBS 3.0, pero se pueden almacenar en OBS 3.0 u OBS 2.0.
• Un bucket puede tener un máximo de 10 reglas de inventario.
• El bucket de origen (para el que se configura una regla de inventario de bucket) y el bucket de destino (donde se almacenan los archivos de inventario generados) deben pertenecer a la misma cuenta.
• El bucket de origen y el bucket de destino deben estar en la misma región.
• Los archivos de inventario deben estar en formato CSV.
• OBS puede generar archivos de inventario para todos los objetos de un bucket o un grupo de objetos cuyos nombres comienzan con el mismo prefijo.
• Si un bucket tiene varias reglas de inventario, estas reglas no deben solaparse.
  • Si un bucket ya tiene una regla de inventario para todo el bucket, no se pueden crear nuevas reglas de inventario que filtren objetos por prefijos. Si necesita una regla de inventario que cubra sólo un subconjunto de objetos del bucket, elimine primero la regla de inventario configurada para todo el bucket.
  • Si ya existe una regla de inventario que filtra objetos por un prefijo especificado, no puede crear una regla de inventario para todo el bucket. Para crear una regla de inventario para todo el bucket, asegúrese de que el bucket no tiene otras reglas de inventario que filtren los objetos por prefijos especificados.
  • Si un bucket ya tiene una regla de inventario que filtra objetos por el prefijo de nombre de objeto ab, el filtro de una nueva regla de inventario no puede comenzar con a o abc. O bien, puede eliminar la regla de inventario existente y crear una nueva que filtre los objetos según sus necesidades.
• Los archivos de inventario de cucharón solo se pueden cifrar en el modo SSE-KMS.
• La función de inventario de cubeta se ofrece de forma gratuita, pero los archivos de inventario se facturan por el espacio de almacenamiento que utilizan.
• No se puede habilitar el cifrado predeterminado para el bucket de destino configurado para almacenar archivos de inventario.
• Los archivos de inventario son entregados al bucket de destino por un usuario del sistema OBS. Por lo tanto, debe autorizar al usuario del sistema el permiso para escribir el bucket de destino.

¿Cómo se configura un inventario de bucket?

Configuración de un inventario de bucket

Puedes usar OBS Console o llamar a la API para configurar un inventario de buckets. Si configura un inventario de bucket en OBS Console, se genera automáticamente una política de bucket con la configuración de permisos requerida para el bucket de destino. Si llama a la API para configurar el inventario del bucket, debe configurar manualmente la política del bucket para el bucket de destino.

1. Agregue una política de bucket para el bucket de destino.

   Se debe configurar una política de bucket para el bucket de destino, para conceder a los usuarios del sistema OBS el permiso para escribir objetos en el bucket de destino. El formato de la política de bucket es el siguiente. Reemplace destbucket por el nombre real del bucket de destino.

   {
   	"Statement": [
   		{
   			"Effect": "Allow",
   			"Sid": "1",
   			"Principal": {"Service": "obs"},
                           "Resource": ["destbucket/*"],
   			"Action": ["PutObject"]
   		}
   	]
   }

2. Configura el inventario de bucket.

   Proporcionamos múltiples herramientas para configurar un inventario de cubetas. Para más detalles, consulte ¿Cómo usar esta función?.

Contenido de un archivo de inventario

El contenido de un archivo de inventario se puede configurar al crear el inventario. Para obtener más información sobre todos los campos posibles, consulte Tabla 1.

Nombre de archivo de inventario

El nombre de un archivo de inventario tiene el siguiente formato:

destinationPrefix/sourceBucketName/inventoryId/yyyy-MM-dd'T'HH-mm'Z'/files/UUID_index.csv

Archivo de manifiesto

Si hay un gran número de objetos en un bucket, se pueden generar múltiples archivos de inventario para una única configuración de inventario. Se necesita algún tiempo para generar estos archivos. Por ejemplo, si 200,000 hay objetos en un bucket, se tarda aproximadamente 1.5 minutos en generar todos los archivos de inventario. Una o dos horas después de que se hayan generado todos los archivos de inventario, se generará un archivo manifest.json. El archivo manifest.json contiene información acerca de todos los archivos de inventario generados esta vez, incluyendo:

• sourceBucket: nombre del bucket fuente
• destinationBucket: nombre del bucket de destino
• version: versión del inventario
• fileFormat: formato de archivos de inventario
• fileSchema: campos de metadatos de objetos contenidos en los archivos de inventario
• files: lista de todos los archivos de inventario
• key: nombre del archivo de inventario
• size: tamaño de un archivo de inventario, en bytes
• inventoriedRecord: número de registros contenidos en un archivo de inventario

{
        "sourceBucket":"user001",
        "destinationBucket":"bucket001",
        "version":"2019-01-03",
        "fileFormat":"CSV",
        "fileSchema":"Bucket,Key,Size,LastModifiedDate,ETag,StorageClass,IsMultipartUploaded,ReplicationStatus,EncryptionStatus",
        "files":[
                {
                        "key":"inventory/user001/test_id/2019-01-03T12-28Z/files/0000016813AF58E66806C1E2D7F15155_1.csv",
                        "size":6705647390,
                        "inventoriedRecord":70585762,
                }
        ]
}

El nombre de un archivo de manifest es el siguiente (para detalles sobre cada campo, vea Nombre de archivo de inventario):

destinationPrefix/sourceBucketName/inventoryId/yyyy-MM-dd'T'HH-mm'Z'/manifest.json

¿Cómo se notifica a un usuario cuando se generan archivos de inventario?

Puede habilitar SMN (el servicio de notificación de mensajes) para el bucket de destino. Al hacerlo, puede recibir mensajes SMS o correos electrónicos cada vez que se generen los archivos de inventario y el archivo de manifest. Para obtener más información acerca de SMN, consulte Notificación de evento.

El siguiente es un ejemplo sencillo de configuración SMN. destinationPrefix/sourceBucketName indica el prefijo del archivo de manifest. destinationPrefix es el prefijo de nombre configurado para los archivos de inventario y sourceBucketName es el bucket de origen para el que está configurado el archivo de inventario. El manifest.json es el sufijo del archivo manifest.

<NotificationConfiguration>
  <TopicConfiguration>
    <Id>01</Id>
    <Filter>
      <Object>
        <FilterRule>
          <Name>prefix</Name>
          <Value>destination-prefix/source-bucket</Value>
        </FilterRule>
        <FilterRule>
          <Name>suffix</Name>
          <Value>manifest.json</Value>
        </FilterRule>
      </Object>
    </Filter>
    <Topic>urn:smn:southchina:11aa22bb:notification</Topic>
    <Event>ObjectCreated:Put</Event>
  </TopicConfiguration>
</NotificationConfiguration>

¿Cómo usar esta función?

Puede configurar inventarios de buckets mediante la consola OBS, las API o los SDK.