Rでの並列処理のためにAWSでsnow（およびsnowfall）を使用する

Question

私の以前の関係で 同様のSOの質問 , 、並列計算にAWSでsnow/snowfallを使用してみました。

私がしたことは:

• の中で sfInit() 機能は、私はにパブリックDNSを提供しました socketHosts そのようなパラメータ sfInit(parallel=TRUE,socketHosts =list("ec2-00-00-00-000.compute-1.amazonaws.com"))
• 返されたエラーは次のとおりです Permission denied (publickey)
• それから私は指示に従いました（私は正しく推測します！）に http://www.imbi.uni-freiburg.de/parallel/ パスワードレスのセキュアシェル(SSH)ログイン"セクションでは、
• 私はちょうど猫の内容。AWSで作成したpemファイルを〜/に作成しました。マスター AWSインスタンスとマスター AWSインスタンスから接続したいAWSインスタンスのssh/authorized_keys

私が見逃しているものはありますか？ユーザーがAWSでsnowを使用した経験を共有できれば、非常に感謝しています。

あなたの提案を非常にありがとう。

更新:私はちょうど私が私の特定の問題に見つけた解決策を更新したいと思っていました:

• StarClusterを使用してAWSクラスターをセットアップしました : スタークラスター
• インストールされたパッケージ snowfall クラスターのすべてのノードで
• マスターノードから次のコマンドを発行しました
• hostslist <- list("ec2-xxx-xx-xxx-xxx.compute-1.amazonaws.com","ec2-xx-xx-xxx-xxx.compute-1.amazonaws.com")
• sfInit(parallel=TRUE, cpus=2, type="SOCK",socketHosts=hostslist)
• l <- sfLapply(1:2,function(x)system("ifconfig",intern=T))
• lapply(l,function(x)x[2])
• sfStop()
• Ip情報は、AWSノードが利用されていることを確認しました

Answer 1

私は@Anatoliyが正しいと信じています:X.509証明書を使用しています。SSHキーを追加するための正確な手順については、SSHキーの「認証情報の種類」セクションを参照してください。 EC2スターターガイド.

独自のSSHキーをアップロードするには、次を見てください Alesticからのこのページ.

最初は少し混乱しますが、dsaまたはRSAのテキストファイルに表示される可能性のあるアクセスキー、証明書、およびキーペアを明確にしておく必要があ

Answer 2

それほど悪くはないように見えますが、pemファイルが間違っています。しかし、それは時にはそれほど単純ではなく、多くの人々がこの問題と戦わなければなりません。あなたがこの記事で見つけることができる多くのヒント:

• https://forums.aws.amazon.com/message.jspa?messageID=241341
• または、他の投稿についてはgoogleを確認してください。

私の経験から、ほとんどの人はこれらのステップで問題を抱えています:

• Ssh経由でマシンにログオンできますか？(ssh ec2-00-00-00-000.compute-1.amazonaws.com）。接続にはパブリックIPではなく、パブリックDNSを使用してください。
• すべてのマシンで22ポートが開いている場合は、AWSの「セキュリティグループ」を確認する必要があります。

10台以上の労働者機械を始めることを計画すればあなたの機械のMPIの取付けで動作するべきである(大いによりよい性能!)

マルクスからcloudnumbers.com :-)