Utilisation de la neige (neige et) avec AWS pour le traitement parallèle en R

Question

En ce qui concerne mon précédent similaires SO question , j'ai essayé en utilisant de la neige / chute de neige sur AWS pour le calcul parallèle.

Ce que je l'ai été:

• Dans la fonction sfInit(), je fourni le DNS public au paramètre socketHosts comme si sfInit(parallel=TRUE,socketHosts =list("ec2-00-00-00-000.compute-1.amazonaws.com"))
• L'erreur renvoyée est Permission denied (publickey)
• J'ai ensuite suivi les instructions (je présume correctement!) Sur http: // www. imbi.uni-freiburg.de/parallel/ dans la section 'sans mot de passe sécurisé connexion Shell (SSH)'
• Je viens de chat le contenu du fichier .pem que j'ai créé sur AWS dans les ~ / .ssh / authorized_keys de l'instance AWS je veux me connecter à mon maître de AWS instance et pour le maître AWS par exemple, ainsi

Y at-il quelque chose que je suis absent dehors? Je serais très reconnaissant si les utilisateurs peuvent partager leurs expériences dans l'utilisation de la neige sur AWS.

Merci beaucoup pour vos suggestions.

Mise à jour: Je voulais juste mettre à jour la solution que je trouve à mon problème spécifique:

• je StarCluster pour configurer mon groupe AWS: StarCluster
• le paquet installé snowfall sur tous les nœuds du cluster
• A partir du noeud maître a émis les commandes suivantes
• hostslist <- list("ec2-xxx-xx-xxx-xxx.compute-1.amazonaws.com","ec2-xx-xx-xxx-xxx.compute-1.amazonaws.com")
• sfInit(parallel=TRUE, cpus=2, type="SOCK",socketHosts=hostslist)
• l <- sfLapply(1:2,function(x)system("ifconfig",intern=T))
• lapply(l,function(x)x[2])
• sfStop()
• Les informations d'IP a confirmé que les noeuds de AWS étaient utilisés

Answer 1

Je crois @Anatoliy est correcte: vous utilisez un certificat X.509. Pour les étapes précises à prendre pour ajouter les clés SSH, consultez la section « Types d'informations d'identification » du EC2 Guide Entrées .

Pour télécharger vos propres clés SSH, jetez un oeil à cette page de Alestic .

Il est un peu déroutant au début, mais vous voulez garder savoir quelles sont les clés d'accès, vos certificats et vos paires de clés, qui peuvent apparaître dans des fichiers texte avec DSA ou RSA.

Answer 2

On dirait pas si mal mais le fichier pem est faux. Mais il est parfois pas que les gens simples et beaucoup doivent se battre avec ces questions. Beaucoup de conseils que vous pouvez trouver dans ce message:

• https://forums.aws.amazon.com/message.jspa? messageID = 241341
• Ou consultez Google pour d'autres messages.

D'après mon expérience la plupart des gens ont des problèmes dans ces étapes:

• Pouvez-vous ouvrir une session sur les machines via ssh? (Ssh ec2-00-00-00-000.compute-1.amazonaws.com). Essayez d'utiliser le DNS public, et non l'adresse IP publique pour se connecter.
• Vous devriez vérifier vos « groupes de sécurité » dans AWS si le port 22 est ouvert pour toutes les machines!

Si vous envisagez de démarrer plus de 10 machines de travail, vous devez travailler sur une installation de MPI sur vos machines (bien meilleures performances!)

Markus de cloudnumbers.com: -)