projeto de processamento distribuído “Iniciante”

Question

Durante muito tempo eu estive interessado em construir um cluster de nós heterogêneos em uma tentativa de ter um supercomputador em casa desde que eu estou muito interessado em fazer pesquisa AI.

No entanto, a questão é mesmo que eu tenha uma miríade de hardware, (2x dupla quad montagem em rack servidores, 8 285GTX GPUs, 360s 6x PS3s 2x Hacked (eles podem executar linux) o acesso a toneladas de PCs comuns, bem como uma algumas estações de trabalho) Eu não tenho nenhuma grande conjunto de dados que precisa ser triturado, ou mesmo qualquer software que eu possa executar distribuído. Eu tenho mexido com código de compilação distribuída, mas na melhor das hipóteses o seu feito meu kernel constrói ir de 10 minutos (na pior das hipóteses) para 30 segundos (e eu acho que 20 dessas segundos são apenas setup).

Então, onde devo começar? Eu tenho um subdeclaração decente de Obj-C / C / C ++ para que ele não deve ser muito difícil para escrever algo, mas o que eu deveria escrever?

Answer 1

Se você quiser dados a crise, há muito lá fora:

• Uma série de conjuntos de dados de mineração de dados e descoberta de conhecimento
• uma variedade de conjuntos de dados raspados e / ou scrapable
• A lista conhecimento abrangente Arquivo Rede de pacotes de dados
• uma coleção de grandes conjuntos de dados de saúde

Como para "o que eu deveria construir", a verdadeira questão é, o que lhe interessa?

Answer 2

Bem, eu acho que é melhor para determinar qual subconjunto do hardware que você tem disponível, você vai ser o desenvolvimento de seu aplicativo para. Software para o PS3 necessita de atenção especial e exigirá o desenvolvimento separado de algo feito para correr em servidores Linux típicos.

Você também pode precisar de fazer alguma pesquisa sobre como você pode desenvolver um aplicativo para o 360; Eu não tenho certeza se ele iria realmente dar-lhe o que você está procurando para ser honesto.

Uma vez que você tenha decidido sobre o subconjunto de hardware você precisa desenvolver para que seria bom começar com algum desenvolvimento básico para garantir que você pode uma fundação juntos que permite a comunicação. Com uma base sólida que você vai ser capaz de expandir o seu código para suportar uma variedade de projetos distribuídos.

Espero que eu estou entendendo sua pergunta!

Felicidades

Answer 3

Se você é realmente aventureiro, você pode tentar portar ou / tanto sprite (Unix-y) e / ou Plan 9 (simplesmente estranho) a cada um dos sabores de hardware que você tem (Plan 9 já roda em PCs).