Cómo distribuir elementos de manera sólida, pero mínima, a través de un sistema peer-to-peer

Question

Si uno tiene un sistema peer-to-peer que se puede consultar, le gustaría

• reducir el número total de consultas en la red (distribuyendo ampliamente los elementos "populares" y los elementos "similares" juntos)
• Evite el exceso de almacenamiento en cada nodo.
• asegurar una buena disponibilidad incluso para elementos moderadamente raros ante tiempos de inactividad del cliente, fallas de hardware y abandono de los usuarios (posiblemente detectando elementos raros para archiveros/historiadores)
• Evite que las consultas no encuentren coincidencias en caso de particiones de red.

Dados estos requisitos:

1. ¿Existen enfoques estándar?Si no es así, ¿existe alguna investigación respetada pero experimental?Estoy familiarizado con los esquemas de distribución, pero no he visto nada que realmente aborde el aprendizaje de la solidez.
2. ¿Me falta algún criterio obvio?
3. ¿Alguien está interesado en trabajar o resolver este problema?(Si es así, me complace poder abrir parte de un simulador muy poco convincente que preparé este fin de semana y, en general, ofrezco consejos inútiles).

@cdv:He visto el video y es muy bueno, y aunque no siento que llegue a una estrategia de distribución conectable, definitivamente ya está al 90% del camino.Sin embargo, las preguntas resaltan diferencias útiles con este enfoque que abordan algunas de mis preocupaciones adicionales y me brindan algunas referencias para seguir.Por tanto, acepto provisionalmente tu respuesta, aunque considero la pregunta abierta.

Answer 1

Si tienes tiempo valdría la pena echarle un vistazo. la charla sobre tecnología de Google que dio Wuala.Hablan de los mismos problemas que enfrentaron al crear su sistema de archivos peer-to-peer.

Answer 2

Existen múltiples sistemas con varios aspectos de lo que usted busca y cada uno de ellos hace diferentes compromisos, que incluyen, entre otros:

El dinamo de Amazon: http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf

Kai: http://www.slideshare.net/takemaru/kai-an-open-source-implementation-of-amazons-dynamo-472179

Hadoop: http://hadoop.apache.org/core/docs/current/hdfs_design.html

Acorde: http://pdos.csail.mit.edu/chord/

Colmena: http://www.cs.cornell.edu/People/egs/beehive/

y muchos otros.Después de construir un sistema personalizado en ese sentido, también dejé algunos de los componentes básicos en formato de código abierto: http://code.google.com/p/distributerl/(Eso no es un sistema completo, sino algunas bibliotecas útiles para construir uno)