Exécution de travaux de recherche sur un environnement informatique de grille

Question

J'exécute certains grands modèles de régression par R dans un environnement informatique en grille. Pour autant que je sache, la grille me donne plus de mémoire et des processeurs plus rapides, donc je pense que cette question s'appliquerait aussi pour ceux qui utilisent R sur un ordinateur puissant.

Les modèles de régression je cours ont beaucoup d'observations, et plusieurs variables de facteurs qui ont beaucoup de (10s ou 100s) chacun des niveaux. En conséquence, la régression peut obtenir beaucoup de calculs. J'ai remarqué que quand j'aligner 3 régressions dans un script et le soumettre à la grille, il sort (accidents) en raison de contraintes de mémoire. Cependant, si je lance comme 3 scripts différents, il fonctionne très bien.

Je fais un peu le nettoyage, donc après chaque parcours modèle, je enregistrer l'objet de modèle dans un fichier séparé, rm (list = ls ()) pour effacer toute la mémoire, puis exécutez gc () avant le prochain modèle est courir. Pourtant, en cours d'exécution tous les trois dans un seul script semble planter, mais briser le travail semble être bien.

Le système admin dit que le découper est important, mais je ne vois pas pourquoi, si je nettoie après chaque course. 3 dans un script exécute eux dans l'ordre de toute façon. Est-ce que quelqu'un a une idée pourquoi courir trois scripts individuels fonctionne, mais en cours d'exécution tous les modèles dans un seul script causerait R d'avoir des problèmes de mémoire?

merci! EXL

Answer 1

Des questions similaires qui mérite d'être lu par: forcer la collecte des déchets pour fonctionner en R avec la gc () commande Utilisation de la mémoire dans la R

Mon expérience a été que R n'est pas superbe à la gestion de la mémoire. Vous pouvez essayer de mettre chaque régression dans une fonction dans l'espoir que les variables laissant hors de portée fonctionne mieux que gc (), mais je ne retenez pas votre souffle. Y at-il une raison particulière que vous ne pouvez pas exécuter chacun dans son propre lot? Plus d'informations Joris demandé serait également souhaitable.