Como posso comparar a lista de arquivos a partir de um arquivo tar e diretório?
Pergunta
Eu ainda estou aprendendo Perl. Alguém pode por favor me sugerir o código Perl para comparar arquivos de .tar.gz e um caminho de diretório.
Digamos que eu tenho de backup tar.gz do seguinte caminho de diretório que tomei alguns dias atrás.
a/file1
a/file2
a/file3
a/b/file4
a/b/file5
a/c/file5
a/b/d/file and so on..
Agora eu quero comparar os arquivos e diretórios sob esse caminho com o arquivo de backup tar.gz.
Por favor, sugerem código Perl para fazer isso.
Solução
Este pode ser um bom ponto de partida para um bom programa Perl. Ele faz o que a pergunta feita por embora.
Foi apenas cortado juntos, e ignora a maioria das melhores práticas para Perl.
perl test.pl full \ Downloads/update-dnsomatic-0.1.2.tar.gz \ Downloads/ \ update-dnsomatic-0.1.2
#! /usr/bin/env perl
use strict;
use 5.010;
use warnings;
use autodie;
use Archive::Tar;
use File::Spec::Functions qw'catfile catdir';
my($action,$file,$directory,$special_dir) = @ARGV;
if( @ARGV == 1 ){
$file = *STDOUT{IO};
}
if( @ARGV == 3 ){
$special_dir = '';
}
sub has_file(_);
sub same_size($$);
sub find_missing(\%$);
given( lc $action ){
# only compare names
when( @{[qw'simple name names']} ){
my @list = Archive::Tar->list_archive($file);
say qq'missing file: "$_"' for grep{ ! has_file } @list;
}
# compare names, sizes, contents
when( @{[qw'full aggressive']} ){
my $next = Archive::Tar->iter($file);
my( %visited );
while( my $file = $next->() ){
next unless $file->is_file;
my $name = $file->name;
$visited{$name} = 1;
unless( has_file($name) ){
say qq'missing file: "$name"' ;
next;
}
unless( same_size( $name, $file->size ) ){
say qq'different size: "$name"';
next;
}
next unless $file->size;
unless( same_checksum( $name, $file->get_content ) ){
say qq'different checksums: "$name"';
next;
}
}
say qq'file not in archive: "$_"' for find_missing %visited, $special_dir;
}
}
sub has_file(_){
my($file) = @_;
if( -e catfile $directory, $file ){
return 1;
}
return;
}
sub same_size($$){
my($file,$size) = @_;
if( -s catfile($directory,$file) == $size ){
return $size || '0 but true';
}
return; # empty list/undefined
}
sub same_checksum{
my($file,$contents) = @_;
require Digest::SHA1;
my($outside,$inside);
my $sha1 = Digest::SHA1->new;
{
open my $io, '<', catfile $directory, $file;
$sha1->addfile($io);
close $io;
$outside = $sha1->digest;
}
$sha1->add($contents);
$inside = $sha1->digest;
return 1 if $inside eq $outside;
return;
}
sub find_missing(\%$){
my($found,$current_dir) = @_;
my(@dirs,@files);
{
my $open_dir = catdir($directory,$current_dir);
opendir my($h), $open_dir;
while( my $elem = readdir $h ){
next if $elem =~ /^[.]{1,2}[\\\/]?$/;
my $path = catfile $current_dir, $elem;
my $open_path = catfile $open_dir, $elem;
given($open_path){
when( -d ){
push @dirs, $path;
}
when( -f ){
push @files, $path, unless $found->{$path};
}
default{
die qq'not a file or a directory: "$path"';
}
}
}
}
for my $path ( @dirs ){
push @files, find_missing %$found, $path;
}
return @files;
}
Depois de renomear config
para config.rm
, adicionando um caractere extra para README
, mudando um caractere em install.sh
, e adicionando um .test
arquivo. Isto é o que emitido:
missing file: "update-dnsomatic-0.1.2/config" different size: "update-dnsomatic-0.1.2/README" different checksums: "update-dnsomatic-0.1.2/install.sh" file not in archive: "update-dnsomatic-0.1.2/config.rm" file not in archive: "update-dnsomatic-0.1.2/.test"
Outras dicas
O Archive::Tar
e File::Find
módulos será útil. Um exemplo de base é mostrado abaixo. Ele só imprime informações sobre os arquivos em um alcatrão e os arquivos em uma árvore de diretórios.
Não estava claro da sua pergunta como você deseja comparar os arquivos. Se você precisa comparar o conteúdo real, provavelmente será necessário o método get_content()
em Archive::Tar::File
. Se uma comparação mais simples é adequada (por exemplo, nome, tamanho e mtime), você não vai precisar de muito mais do que os métodos utilizados no exemplo abaixo.
#!/usr/bin/perl
use strict;
use warnings;
# A utility function to display our results.
sub Print_file_info {
print map("$_\n", @_), "\n";
}
# Print some basic information about files in a tar.
use Archive::Tar qw();
my $tar_file = 'some_tar_file.tar.gz';
my $tar = Archive::Tar->new($tar_file);
for my $ft ( $tar->get_files ){
# The variable $ft is an Archive::Tar::File object.
Print_file_info(
$ft->name,
$ft->is_file ? 'file' : 'other',
$ft->size,
$ft->mtime,
);
}
# Print some basic information about files in a directory tree.
use File::Find;
my $dir_name = 'some_directory';
my @files;
find(sub {push @files, $File::Find::name}, $dir_name);
Print_file_info(
$_,
-f $_ ? 'file' : 'other',
-s,
(stat)[9],
) for @files;
Perl é uma espécie de exagero para isso, realmente. Um script shell faria muito bem. Os passos que você precisa tomar embora:
- Extraia o tar a um lugar pasta temporária.
-
diff -uR
as duas pastas e redirecionar a algum lugar de saída (ou talvez tubo paraless
conforme apropriado) - Limpe a pasta temporária.
E você está feito. não deve ser mais de 5-6 linhas. rápida algo e não testado:
#!/bin/sh
mkdir $TEMP/$$
tar -xz -f ../backups/backup.tgz $TEMP/$$
diff -uR $TEMP/$$ ./ | less
rm -rf $TEMP/$$
Aqui está um exemplo que verifica se cada arquivo que está em um arquivo, também existe em uma pasta.
# $1 is the file to test
# $2 is the base folder
for file in $( tar --list -f $1 | perl -pe'chomp;$_=qq["'$2'$_" ]' )
do
# work around bash deficiency
if [[ -e "$( perl -eprint$file )" ]]
then
echo " $file"
else
echo "no $file"
fi
done
É assim que eu testei este:
I removido / config
renomeado, em seguida, correu o seguinte:
bash test Downloads/update-dnsomatic-0.1.2.tar.gz Downloads/
Que deu a saída:
"Downloads/update-dnsomatic-0.1.2/" no "Downloads/update-dnsomatic-0.1.2/config" "Downloads/update-dnsomatic-0.1.2/update-dnsomatic" "Downloads/update-dnsomatic-0.1.2/README" "Downloads/update-dnsomatic-0.1.2/install.sh"
Eu sou novo para o bash programação / shell, então provavelmente há uma maneira melhor de fazer isso.