Esecuzione di lavori di ricerca su un ambiente di grid computing

Question

Sono in esecuzione di alcuni grandi modelli di regressione in R in un ambiente di grid computing. Per quanto ne so, la griglia appena mi dà più memoria e processori più veloci, quindi penso che questa domanda si applicherebbe anche per coloro che utilizzano R su un computer potente.

I modelli di regressione Sono in esecuzione hanno un sacco di osservazioni, e diverse variabili fattore che hanno molti (10s o 100s) dei livelli ciascuno. Di conseguenza, la regressione può ottenere computazionalmente intensive. Ho notato che quando io fiancheggio su 3 regressioni in uno script e lo presenta alla griglia, esce (arresti) a causa di vincoli di memoria. Tuttavia, se corro come 3 diversi script, funziona benissimo.

che sto facendo un po 'su pulito, così dopo ogni modello viene eseguito, risparmio il modello a oggetti in un file separato, rm (list = ls) () per cancellare tutta la memoria, gc quindi eseguire () prima che il modello successivo è correre. Eppure, in esecuzione tutto lo script tre in uno sembra bloccarsi, ma rompendo il lavoro sembra essere fine.

L'amministratore di sistema dice che la rottura in su è importante, ma non vedo il motivo per cui, se sto pulizia dopo ogni esecuzione. 3 in uno script di li esegue in sequenza in ogni modo. Qualcuno ha un idea del perché l'esecuzione di tre singoli script opere, ma in esecuzione tutti i modelli una sceneggiatura causerebbe R ad avere problemi di memoria?

grazie! EXL

Answer 1

Domande simili che vale la pena leggere attraverso: Forzare la raccolta dei rifiuti per l'esecuzione in R con la gc () comando in R

La mia esperienza è stata che R non è superba in gestione della memoria. Si può provare a mettere ogni regressione in una funzione, nella speranza che le variabili lasciando andare fuori del campo di applicazione funziona meglio di gc (), ma io non lo trattenere il respiro. C'è un motivo particolare non è possibile eseguire ciascuna nel proprio gruppo? Maggiori informazioni come Joris richieste aiuterebbe pure.