Migração de dados usando a Internet

Contexto

Você pode migrar dados de um NAS local para o SFS Turbo usando a Internet.

Nesta solução, para migrar dados do NAS local para a nuvem, um servidor Linux é criado tanto na nuvem quanto no local. O tráfego de entrada e saída é permitido na porta 22 desses dois servidores. O servidor local é usado para acessar o NAS local e o ECS é usado para acessar o SFS Turbo.

Você também pode consultar esta solução para migrar dados de um NAS na nuvem para o SFS Turbo. Para mais detalhes, consulte Migrar dados do NAS na nuvem para o SFS Turbo.

Limitações e restrições

• Os dados não podem ser migrados do NAS local para o SFS Orientado à capacidade usando a Internet.
• Somente ECSs do Linux podem ser usados para migrar dados.
• O UID e o GID do seu arquivo não serão mais consistentes após a migração de dados.
• Os modos de acesso a arquivos não serão mais consistentes após a migração de dados.
• O tráfego de entrada e saída deve ser permitido na porta 22.
• A migração incremental é suportada, para que apenas os dados alterados sejam migrados.

Pré-requisitos

• Um servidor Linux foi criado na nuvem e no local, respectivamente.
• Os EIPs foram configurados para os servidores para garantir que os dois servidores possam se comunicar uns com os outros.
• Você criou um sistema de arquivos SFS Turbo e obteve o ponto de montagem do sistema de arquivos.
• Você obteve o ponto de montagem do NAS local.

Procedimento

1. Efetue logon no console do ECS.
2. Faça logon no client1 de servidor no local criado e execute o seguinte comando para aceder ao NAS local:mount -t nfs -o vers=3,timeo=600,noresvport,nolock Ponto de montagem do NAS local /mnt/src
3. Faça logon no client2 do ECS do Linux criado e execute o seguinte comando para acessar o sistema de arquivos do SFS Turbo:

   mount -t nfs -o vers=3,timeo=600,noresvport,nolock Mount point of the SFS Turbo file system  /mnt/dst

4. Execute os seguintes comandos no client1 para instalar a ferramenta rclone:

   wget https://downloads.rclone.org/v1.53.4/rclone-v1.53.4-linux-amd64.zip --no-check-certificate
   unzip rclone-v1.53.4-linux-amd64.zip
   chmod 0755 ./rclone-*/rclone
   cp ./rclone-*/rclone /usr/bin/
   rm -rf ./rclone-*

5. Execute os seguintes comandos no client1 para configurar o ambiente:

   rclone config
   No remotes found - make a new one
   n) New remote
   s) Set configuration password
   q) Quit config
   n/s/q> n
   name> remote name (New name)
   Type of storage to configure.
   Enter a string value. Press Enter for the default ("").
   Choose a number from below, or type in your own value
   24 / SSH/SFTP Connection
      \ "sftp"
   Storage> 24 (Select the SSH/SFTP number)
   SSH host to connect to
   Enter a string value. Press Enter for the default ("").
   Choose a number from below, or type in your own value
    1 / Connect to example.com
      \ "example.com"
   host> ip address (IP address of client2)
   SSH username, leave blank for current username, root
   Enter a string value. Press Enter for the default ("").
   user> user name (Username of client2)
   SSH port, leave blank to use default (22)
   Enter a string value. Press Enter for the default ("").
   port> 22
   SSH password, leave blank to use ssh-agent.
   y) Yes type in my own password
   g) Generate random password
   n) No leave this optional password blank
   y/g/n> y
   Enter the password:
   password: (Password for logging in to client2)
   Confirm the password:
   password: (Confirm the password for logging in to client2)
   Path to PEM-encoded private key file, leave blank or set key-use-agent to use ssh-agent.
   Enter a string value. Press Enter for the default ("").
   key_file> (Press Enter)
   The passphrase to decrypt the PEM-encoded private key file.
    
   Only PEM encrypted key files (old OpenSSH format) are supported. Encrypted keys
   in the new OpenSSH format can't be used.
   y) Yes type in my own password
   g) Generate random password
   n) No leave this optional password blank
   y/g/n> n
   When set forces the usage of the ssh-agent.
   When key-file is also set, the ".pub" file of the specified key-file is read and only the associated key is
   requested from the ssh-agent. This allows to avoid `Too many authentication failures for *username*` errors
   when the ssh-agent contains many keys.
   Enter a boolean value (true or false). Press Enter for the default ("false").
   key_use_agent> (Press Enter)
   Enable the use of the aes128-cbc cipher. This cipher is insecure and may allow plaintext data to be recovered by an attacker.
   Enter a boolean value (true or false). Press Enter for the default ("false").
   Choose a number from below, or type in your own value
    1 / Use default Cipher list.
      \ "false"
    2 / Enables the use of the aes128-cbc cipher.
      \ "true"
   use_insecure_cipher> (Press Enter)
   Disable the execution of SSH commands to determine if remote file hashing is available.
   Leave blank or set to false to enable hashing (recommended), set to true to disable hashing.
   Enter a boolean value (true or false). Press Enter for the default ("false").
   disable_hashcheck> 
   Edit advanced config? (y/n)
   y) Yes
   n) No
   y/n> n
   Remote config
   -------------------
   [remote_name] 
   type = sftp
   host=(client2 ip)
   user=(client2 user name)
   port = 22
   pass = *** ENCRYPTED ***
   key_file_pass = *** ENCRYPTED ***
   --------------------
   y) Yes this is OK
   e) Edit this remote
   d) Delete this remote
   y/e/d> y
   Current remotes:
    
   Name                 Type
   ====                 ====
   remote_name          sftp 
    
   e) Edit existing remote
   n) New remote
   d) Delete remote
   r) Rename remote
   c) Copy remote
   s) Set configuration password
   q) Quit config
   e/n/d/r/c/s/q> q

6. Execute o seguinte comando para visualizar o arquivo rclone.conf em /root/.config/rclone/rclone.conf:

   cat /root/.config/rclone/rclone.conf
   [remote_name]
   type = sftp
   host=(client2 ip)
   user=(client2 user name)
   port = 22
   pass = ***
   key_file_pass = ***

7. Execute o seguinte comando no client1 para sincronizar dados:

   rclone copy /mnt/src remote_name:/mnt/dst -P --transfers 32 --checkers 64

   

   • Substitua remote_name no comando pelo nome remoto no ambiente.
   • Defina transfers e checkers com base nas especificações do sistema. Os parâmetros são descritos como segue:
     • transfers: número de arquivos que podem ser transferidos simultaneamente
     • checkers: número de arquivos locais que podem ser verificados simultaneamente
     • P: progresso da cópia de dados

   Depois que a sincronização de dados estiver concluída, vá para o sistema de arquivos do SFS Turbo para verificar se os dados foram migrados.

Migrar dados do NAS na nuvem para o SFS Turbo

Para migrar dados de um NAS na nuvem para o SFS Turbo usando a Internet, consulte as etapas anteriores.