Qual è il modo migliore per scrivere un mantenibile web app scraping?

Question

ho scritto uno script perl qualche tempo fa, che inserito nel mio online banking e mandato me il mio equilibrio e un mini-dichiarazione ogni giorno. Ho trovato molto utile per tenere traccia delle mie finanze. L'unico problema è che l'ho scritto solo utilizzando Perl e ricciolo ed è stato abbastanza complicato e difficile da mantenere. Dopo un paio di casi di mia banca che cambiano la loro pagina web mi sono stufo di debug per tenerlo aggiornato.

Allora, qual è il modo migliore di scrivere un programma del genere in modo tale che è facile da mantenere? Mi piacerebbe scrivere un bella versione ben progettato sia in Perl o Java che sarà facile da aggiornare quando la banca inevitabilmente violino con il loro sito web.

Answer 1

In Perl, qualcosa di simile a WWW::Mechanize può già rendere lo script più semplice e robusto, perché può trovare forme HTML nelle risposte precedenti dal sito web. È possibile compilare queste forme di preparare una nuova richiesta. Ad esempio:

my $mech = WWW::Mechanize->new();
$mech->get($url);
$mech->submit_form(
    form_number => 1,
    fields      => { password => $password },
);
die unless ($mech->success);

Answer 2

Una combinazione di WWW :: Mechanize e Web :: raschietto sono i due strumenti che mi rendono più produttivo. C'è un bel articolo su quella combinazione al catalizzata .org

Answer 3

Se dovessi dare un consiglio, sarebbe quella di utilizzare XPath per tutti le vostre esigenze di scraping. Evitare espressioni regolari.

Answer 4

Hmm, appena trovato

Finanza :: :: Banca Natwest

Il che è un modulo Perl appositamente per la mia banca! Non mi aspettavo che fosse abbastanza facile.

Answer 5

Un sacco di banche pubblicano i loro dati in un formato standard, che è comunemente usato dai pacchetti di finanza personale come MS Money o Quicken per scaricare informazioni sulle transazioni. Si potrebbe cercare quel gancio e scaricare usando la stessa API, e quindi analizzare i dati da parte vostra (ad esempio analizzare i documenti di Excel con Foglio di calcolo :: ParseExcel e documenti Quicken con Finanza :: QIF ).

Modifica (Rispondi al commento): Avete considerato contattare la tua banca e chiedendo loro come è possibile accedere al tuo account per poter scaricare i dati finanziari? Molti / la maggior parte delle banche hanno un'API per questo (che Quicken ecc fanno uso di, come descritto in precedenza).

Answer 6

C'è un momento fino alla data di attuazione di Ruby qui:

http://github.com/warm/NatWoogle

Answer 7

Usa perl e il pacchetto di web :: raschietto: link testuale