Как я могу заменить ISBN идентификатором Google Books в файле MARC, используя Perl?
-
13-09-2019 - |
Вопрос
У меня есть файл с некоторыми данными о книге в МАРК формат, некоторые строки которого являются ISBNS.Я бы хотел заменить эти строки идентификатором Google Books этого ISBN, если он существует.Вот пока код, который просто заканчивается удалением строк:
perl -pe "s#ISBN(.*)#$(wget --output-document=- --quiet --user-agent=Mozilla/5.0 \"http://books.google.com/books?jscmd=viewapi&bibkeys=\1\")#mg" < 5-${file} > 6-${file}
PS:Google немного не разбирается в использовании автоматизированных инструментов:В API данных книг рекомендует такие инструменты, как curl / wget, но нет инструкций о том, как избежать блокировки при использовании таких инструментов.Я также почти уверен, что видел предложение в ToS, в котором говорится, что пользователи не могут отправлять автоматические запросы, но я не могу найти его снова.Это обсуждаемый на их форуме.
Решение
Я думаю, что OP находится на правильном пути и мог бы использовать для этого однострочник, и просто нужно заменить некоторый синтаксис в стиле bash правильным синтаксисом Perl.Я думаю, это сработало бы (новые строки добавлены для удобства чтения):
perl -pe 's#ISBN(\w+)#qx(wget --output-document=-
--quiet --user-agent=Mozilla/5.0
"http://books.google.com/books\\?jscmd=viewapi\\&bibkeys=$1")#ge' \
< 5-${file} > 6-${file}
Вы должны сбежать (править:двойное экранирование, кажется, работает) the $
или &
символы в URL-адресе.
Другие советы
Причина, по которой вам в конечном итоге приходится лгать об агенте пользователя, заключается в том, что вы нарушаете TOS Google:Не делай этого.
Вместо этого используйте API поиска книг Google.
Приведенный ниже код немного затруднен из-за моего незнания таких модулей, как XML::Атом, Данные::Канал, WWW::Открытый поиск.Однако это должно стать хорошей отправной точкой.
#!/usr/bin/perl
use strict;
use warnings;
use Business::ISBN qw( valid_isbn_checksum );
use LWP::Simple;
use XML::Simple;
while ( <> ) {
s/ISBN:([0-9]+)/'Google Books ID:' . get_google_id_for_isbn($1)/ge;
print;
}
use Carp;
sub make_google_books_query {
sprintf 'http://books.google.com/books/feeds/volumes?q=isbn:%s', $_[0];
}
sub get_google_id_for_isbn {
my ($isbn) = @_;
my $google_id = eval {
defined(valid_isbn_checksum $isbn)
or croak "Invalid ISBN: $isbn";
my $query = make_google_books_query($isbn);
my $xml = get $query;
defined($xml)
or croak "No response to <$query>";
my $data = XMLin($xml, ForceArray => 1);
my @ids = @{ $data->{entry}[0]{'dc:identifier'} };
unless ("ISBN:$isbn" eq $ids[1]
or "ISBN:$isbn" eq $ids[2] ) {
croak "Invalid search results: '@ids'";
}
$ids[0];
};
defined($google_id) ? $google_id : '';
}
Задан текстовый файл t.txt
содержащий:
ISBN:0060930314 ISBN:9780596520106
это выводит:
Google Books ID:ioXFqlzsmK8C Google Books ID:lNVHi3TunxsC