Inventário de bucket

Cenário de aplicação

Um inventário de bucket pode listar objetos em um bucket, salvar as informações do objeto relacionado em arquivos CSV, e entregar os arquivos CSV ao bucket especificado para armazenar arquivos de inventário de bucket. Desta forma, você pode facilmente gerenciar objetos em um bucket. Um bucket de origem também pode ser o bucket de destino.

• Um arquivo de inventário de bucket pode conter as seguintes informações relacionadas a objetos: versões, tamanhos, classes de armazenamento tags, status de encriptação, e hora da última modificação.
• Você pode encriptar os arquivos de inventário do bucket no modo SSE-KMS.
• Você pode definir a frequência (diariamente ou semanalmente) para gerar arquivos de inventário de bucket.
• Você também pode especificar um bucket para armazenar os arquivos de inventário de bucket gerados.

Restrições

• Os estoques de períodos só podem ser gerados para períodos de OBS 3.0, mas podem ser armazenados em OBS 3.0 ou em OBS 2.0.
• Um bucket pode ter no máximo 10 regras de inventário.
• O bucket de origem (para o qual uma regra de inventário de bucket é configurada) e o bucket de destino (onde os arquivos de inventário gerados são armazenados) devem pertencer à mesma conta.
• O bucket de origem e o bucket de destino devem estar na mesma região.
• Os arquivos de inventário devem estar no formato CSV.
• OBS pode gerar arquivos de inventário para todos os objetos em um bucket ou um grupo de objetos cujos nomes começam com o mesmo prefixo.
• Se um bucket tiver várias regras de inventário, essas regras não devem se sobrepor.
  • Se um bucket já tiver uma regra de inventário para todo o bucket, novas regras de inventário que filtram objetos por prefixos não poderão ser criadas. Se você precisar de uma regra de inventário que cubra apenas um subconjunto de objetos no bucket, primeiro exclua a regra de inventário configurada para o bucket inteiro.
  • Se já existir uma regra de inventário que filtra objetos por um prefixo especificado, não será possível criar uma regra de inventário para o bucket inteiro. Para criar uma regra de inventário para o bucket inteiro, certifique-se de que o bucket não tenha outras regras de inventário que filtrem objetos por prefixos especificados.
  • Se um bucket já tiver uma regra de inventário que filtra objetos pelo prefixo de nome de objeto ab, o filtro de uma nova regra de inventário não poderá começar com a ou abc. Ou, você pode excluir a regra de inventário existente e criar uma nova que filtre objetos de acordo com suas necessidades.
• Os arquivos de inventário de bucket podem ser encriptados somente no modo SSE-KMS.
• A função de inventário de bucket é oferecida gratuitamente, mas os arquivos de inventário são cobrados pelo espaço de armazenamento usado.
• A encriptação padrão não pode ser ativada para o bucket de destino configurado para armazenar arquivos de inventário.
• Os arquivos de inventário são entregues ao bucket de destino por um usuário do sistema de OBS. Portanto, você precisa autorizar o usuário do sistema a permissão para gravar o bucket de destino.

Como um inventário de bucket é configurado?

Configuring a Bucket Inventory

Use console de OBS ou chame a API para configurar um inventário de bucket. Se você configurar um inventário de bucket no console de OBS, uma política de bucket com a configuração de permissão necessária será gerada automaticamente para o bucket de destino. Se você chamar a API para configurar o inventário do bucket, precisará configurar manualmente a política do bucket para o bucket de destino.

1. Adicione uma política de bucket para o bucket de destino.

   Uma política de bucket deve ser configurada para o bucket de destino para conceder aos usuários do sistema de OBS a permissão para gravar objetos no bucket de destino. O formato da política de bucket é o seguinte. Substitua destbucket pelo nome real do bucket de destino.

   {
   	"Statement": [
   		{
   			"Effect": "Allow",
   			"Sid": "1",
   			"Principal": {"Service": "obs"},
                           "Resource": ["destbucket/*"],
   			"Action": ["PutObject"]
   		}
   	]
   }

2. Configure um inventário de buckets.

   Fornecemos várias ferramentas para configurar um inventário de buckets. Para mais detalhes, consulte Como usar essa função.

Conteúdo em um arquivo de inventário

O conteúdo em um arquivo de inventário pode ser configurado ao criar o inventário. Para obter detalhes sobre todos os campos possíveis, consulte Tabela 1.

Nome do arquivo de inventário

O nome de um arquivo de inventário está no seguinte formato:

destinationPrefix /sourceBucketName / inventoryId/ yyyy-MM-dd'T'HH-mm'Z' /files/UUID_index .csv

Arquivo de manifesto

Se houver um grande número de objetos em um bucket, vários arquivos de inventário podem ser gerados para uma única configuração de inventário. Leva algum tempo para gerar esses arquivos. Por exemplo, se houver objetos 200.000 em um bucket, levará cerca de 1,5 minutos para gerar todos os arquivos de inventário. Uma ou duas horas após todos os arquivos de inventário serem gerados, um arquivo manifest.json será gerado. O arquivo manifest.json contém informações sobre todos os arquivos de inventário gerados desta vez, incluindo:

• sourceBucket: nome do bucket de origem
• destinationBucket: nome do bucket de destino
• version: versão do inventário
• fileFormat: formato dos arquivos de inventário
• fileSchema: campos de metadados do objeto contidos nos arquivos de inventário
• files:: lista de todos os arquivos de inventário
• key: nome do arquivo de inventário
• size: tamanho de um arquivo de inventário, em bytes
• inventoriedRecord: número de registros contidos em um arquivo de inventário

{
        "sourceBucket":"user001",
        "destinationBucket":"bucket001",
        "version":"2019-01-03",
        "fileFormat":"CSV",
        "fileSchema":"Bucket,Key,Size,LastModifiedDate,ETag,StorageClass,IsMultipartUploaded,ReplicationStatus,EncryptionStatus",
        "files":[
                {
                        "key":"inventory/user001/test_id/2019-01-03T12-28Z/files/0000016813AF58E66806C1E2D7F15155_1.csv",
                        "size":6705647390,
                        "inventoriedRecord":70585762,
                }
        ]
}

O nome de um arquivo de manifest é o seguinte (para obter detalhes sobre cada campo, consulte Nome do arquivo de inventário):

destinationPrefix /sourceBucketName /inventoryId /yyyy-MM-dd'T'HH-mm'Z' /manifest.json

Como um usuário é notificado quando os arquivos de inventário são gerados?

Você pode habilitar SMN (o serviço de notificação de mensagens) para o bucket de destino. Ao fazer isso, você pode receber mensagens SMS ou e-mails sempre que os arquivos de inventário e o arquivo de manifest são gerados. Para obter mais informações sobre SMN, consulte Notificação de evento.

A seguir, um exemplo simples de configuração de SMN. destinationPrefix/sourceBucketName indica o prefixo do arquivo de manifest. destinationPrefix é o prefixo de nome configurado para arquivos de inventário, e sourceBucketName é o bucket de origem para o qual o arquivo de inventário está configurado. O manifest.json é o sufixo do arquivo manifest.

<NotificationConfiguration>
  <TopicConfiguration>
    <Id>01</Id>
    <Filter>
      <Object>
        <FilterRule>
          <Name>prefix</Name>
          <Value>destination-prefix/source-bucket</Value>
        </FilterRule>
        <FilterRule>
          <Name>suffix</Name>
          <Value>manifest.json</Value>
        </FilterRule>
      </Object>
    </Filter>
    <Topic>urn:smn:southchina:11aa22bb:notification</Topic>
    <Event>ObjectCreated:Put</Event>
  </TopicConfiguration>
</NotificationConfiguration>

Como usar essa função

Você pode configurar inventários de buckets usando console de OBS, as API, ou os SDK.