Administración de transferencia de archivos

IMPORTANTE

Más información sobre la Data Workbench Anuncio de fin de vida útil.

Una guía rápida sobre los distintos métodos de transferencia de archivos en DWB.

Administración de transferencia de archivos es un proceso estándar para transferir archivos de un directorio interno a cualquier otro movimiento de archivos interno o de servidor.

Diferentes métodos de transferencia de archivos

  1. AWS (Amazon Web Service)

    1. Levante un ticket para instalar la interfaz de línea de comandos de AWS en el servidor si no está instalado (consulte https://docs.aws.amazon.com/cli/latest/userguide/installing.html).
    2. ¿Cómo comprobar? Intente configurar el AWS mediante el símbolo del sistema (consulte https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html).

  2. Transfiera archivos del servidor FTP al directorio NAS.

    1. Fuentes sin conexión de FTP desde el servidor ftp al directorio NAS. Los siguientes detalles son necesarios para FTP.

      ftp_username

      ftp_password

      ftp_port

      ftp_address

      ftp_directory

      delete_ftp_files

      ftp_file_extension

      local_directory

      (Los detalles de FTP estarán disponibles en la lista de comprobación del proyecto. Usar usuario ftp externo para transferir los archivos)

    2. Utilice el script ftp_winscp_get.pl adjunto a continuación y la programación basada en los requisitos.

      ftp_winscp_get.pl

      Esta secuencia de comandos debe colocarse en E:\scripts\Scripository\Library\Perl

      NOTA

      Si la carpeta del repositorio no está disponible, consulte Reprocesamiento semanal para descargar la carpeta.

    3. Programe la secuencia de comandos en función de la disponibilidad de los archivos en ftp_address.

    4. La convención de nomenclatura del archivo debe ser AAAAMMDD-<offline_feed_name>-00.*

  3. Transfiera archivos del directorio NAS al servidor FTP.

    1. Utilice el script ftp_winscp_put.pl y la programación según los requisitos.

      Esta secuencia de comandos debe colocarse en E:\scripts\Scripository\Library\Perl

      Los detalles siguientes son necesarios para ejecutar el script.

      ftp_username

      ftp_password

      ftp_port

      ftp_address

      ftp_directory

      delete_ftp_files

      ftp_file_extension

      local_directory

      #######################################################################################################################
# PLUGIN NAME HERE
my $pluginname = "FTP WinSCP";
# 20140421 Script tp put files on the FTP
#######################################################################################################################
# INCLUDE SCRIPOSITORY CORE
use FindBin;                 # locate this script
BEGIN {push @INC, $FindBin::Bin}
require 'core.pl';

   # check for the required parameters
 GetOptions('local_directory:s'     => \$local_directory,
               'source_file_pattern:s' => \$source_file_pattern,
               'ftp_file_extension:s' => \$ftp_file_extension,
               'ftp_address=s'  => \$ftp_address,
               'ftp_username=s'  => \$ftp_username,
               'ftp_password:s'  => \$ftp_password,
               'ftp_port:s'   => \$ftp_port,
               'ftp_directory:s'     => \$ftp_directory,
     'log_directory:s'  => \$log_directory,
               'error_directory:s'  => \$error_directory,
               'mail_from:s'  => \$mail_from,
               'mail_to:s'   => \$mail_to,
               'host:s'   => \$host,
               'trigger_directory:s' => \$trigger_directory,
               'trigger_file_extension:s' => \$trigger_file_extension,
               'delete_ftp_files:s'  => \$delete_ftp_files,);

 # FOR LEFT OVER PARAMS, WE CAN CHECK GLOBAL PARAMS
 check_parameters(@argv);

 my $ftp_winscp_script = "winscpscript.txt";
 if (index($trigger_file_extension, '.') != -1) {
  my @trigger_file_extension1=split(/\./,$trigger_file_extension,2);
  $trigger_file_extension =  $trigger_file_extension1[1];
 }
 if (index($ftp_file_extension, '.') != -1) {
  my @ftp_file_extension1=split(/\./,$ftp_file_extension,2);
  $ftp_file_extension =  $ftp_file_extension1[1];
 }
 if ($trigger_file_extension ne "_empty_" && $trigger_directory ne "_empty_") {
   print $trigger_file_extension;
  my $ftp_winscp_trigger_script = "winscpscript_trigger.txt";
  create_winscp_script($ftp_winscp_trigger_script,$ftp_port,$ftp_username,$ftp_password,$ftp_address,$trigger_directory,$ftp_directory,$delete_ftp_files,"*",$trigger_file_extension);
  sleep(10);
  system("\"E:\\Scripts\\Scripository\\Library\\WinSCP\\WinSCP.exe\" /console /script=$ftp_winscp_trigger_script /log=$logfile");
  $files = getFiles($trigger_directory,$trigger_file_extension,$days_ago,$months_ago);
  my $ftp_file_pattern="";
  my $numberoffiles = @$files;
  my $i=0;
  foreach my $trigger_file(@$files) {
   $i++;
   my $file_string=substr($trigger_file,length($trigger_directory), length($trigger_file)-length($trigger_directory));
   my @file_string1=split(/\./, $file_string, 2);
   if ($i == $numberoffiles) {
    $ftp_file_pattern.=$file_string1[0].".".$ftp_file_extension;
   }
   else {
    $ftp_file_pattern.=$file_string1[0].".".$ftp_file_extension.", ";
   }

  }

  #unlink($ftp_winscp_trigger_script);
  print $local_directory;
  print $trigger_directory;
  create_winscp_script($ftp_winscp_script,$ftp_port,$ftp_username,$ftp_password,$ftp_address,$local_directory,$ftp_directory,$delete_ftp_files,$ftp_file_pattern, "");
  runLogger("$pluginname: Sleeping for 10 sec to give enough time for the temp script to be available");
  sleep(10);
  runLogger("$pluginname: FTP started");
  system("\"E:\\Scripts\\Scripository\\Library\\WinSCP\\WinSCP.exe\" /console /script=$ftp_winscp_script /log=$logfile");
  runLogger("$pluginname: FTP ended");

 }
 else {
  if ($source_file_pattern eq "_empty_") {
   $source_file_pattern="*";
  }
  else {
   if (index($source_file_pattern, '.') != -1) {
    my @source_file=split(/\./,$source_file_pattern,2);
    $source_file_pattern =  $source_file[0];
   }
  }
  $ftp_file_extension=".".$ftp_file_extension;
print $local_directory;
  create_winscp_script($ftp_winscp_script,$ftp_port,$ftp_username,$ftp_password,$ftp_address,$local_directory,$ftp_directory,$delete_ftp_files,$source_file_pattern,$ftp_file_extension);
  runLogger("$pluginname: Sleeping for 10 sec to give enough time for the temp script to be available");
  sleep(10);
  runLogger("$pluginname: FTP started");
  system("\"E:\\Scripts\\Scripository\\Library\\WinSCP\\WinSCP.exe\" /console /script=$ftp_winscp_script /log=$logfile");
  runLogger("$pluginname: FTP ended");
 }
 unlink($ftp_winscp_script);

sub create_winscp_script() {
 my ($ftp_script,$ftp_port,$ftp_username,$ftp_password,$ftp_address,$local_directory,$ftp_directory,$delete_ftp_files,$file_pattern, $file_extension) = @_;
 open (FTP, "> $ftp_script") or die "Can't open log: $!";
 print FTP "\# Automatically answer all prompts negatively not to stall\n";
 print FTP "option batch on\n\n";
 print FTP "\# Disable overwrite confirmations that conflict with the previous\n";
 print FTP "option confirm off\n\n";
 print FTP "\# Connect using a password\n";
 if ($ftp_port eq "22") {
  print FTP "open sftp://$ftp_username:$ftp_password\@$ftp_address\n\n";
 }
 else {
  print FTP "open ftp://$ftp_username:$ftp_password\@$ftp_address\n\n";
 }
 print FTP "\# Change local directory\n";
 print FTP "lcd \"$local_directory\"\n\n";
 print FTP "\# Change remote directory\n";
 if ($ftp_directory eq "_empty_") {
 }
 else {
  print FTP "cd \"$ftp_directory\"\n\n";
 }
 print FTP "\# Force binary mode transfer\n";
 print FTP "option transfer binary\n\n";
 print FTP "\# Download the file to specified directory\n";
 my @get_files=split(/,/,$file_pattern);
 foreach my $file (@get_files){
  if ($delete_ftp_files eq "Y" || $delete_ftp_files eq "Yes") {
   print FTP "put -nopreservetime -nopermissions -delete $file$file_extension\n";

  }
  else {
   print FTP "put -nopreservetime -nopermissions $file$file_extension\n";

  }

 }

 print FTP "\n\n";
 print FTP "\# Disconnect\n";
 print FTP "close\n\n";
 print FTP "\# Exit WinSCP\n";
 print FTP "exit\n\n";
 close(FTP);
 runLogger("$pluginname: creating temporary winscp file");

}

    2. Programe la secuencia de comandos en función de la disponibilidad de los archivos en ftp_address.

    3. La convención de nomenclatura del archivo debe ser AAAAMMDD-<offline_feed_name>-00.*

  4. Transfiera Archivos de un directorio NAS a otro directorio NAS.

    1. Copie y pegue el archivo que se conecta directamente a un directorio NAS desde otro. Siga este proceso:)

      iniciar sesión en el servidor -> vaya a Ejecutar -> \server_name\E$ [se abrirá una nueva carpeta que copiará o moverá directamente los archivos]

    2. Utilice el script "copy_files.pl" para copiar archivos de un servidor a otro o "move_files.pl" para mover archivos de un servidor a otro. (Estos archivos están disponibles en E:\scripts\Scripository)

En esta página