Comment distribuer des éléments de manière robuste, mais minimale, sur un système peer-to-peer

Question

Si l'on dispose d'un système peer-to-peer pouvant être interrogé, on aimerait

• réduire le nombre total de requêtes sur le réseau (en distribuant largement les éléments « populaires » et les éléments « similaires » ensemble)
• éviter un stockage excessif à chaque nœud
• assurer une bonne disponibilité des éléments, même modérément rares, face aux temps d'arrêt des clients, aux pannes matérielles et au départ des utilisateurs (détection éventuelle des éléments rares pour les archivistes/historiens)
• éviter que les requêtes ne parviennent à trouver de correspondances en cas de partitions réseau

Compte tenu de ces exigences :

1. Existe-t-il des approches standards ?Si non, existe-t-il des recherches respectées, mais expérimentales ?Je connais certains schémas de distribution, mais je n'ai rien vu de vraiment traitant de l'apprentissage de la robustesse.
2. Est-ce qu'il me manque des critères évidents ?
3. Quelqu'un est-il intéressé à travailler sur/résoudre ce problème ?(Si tel est le cas, je suis heureux d'ouvrir une partie open source d'un simulateur très boiteux que j'ai créé ce week-end et d'offrir généralement des conseils inutiles).

@cdv :J'ai maintenant regardé la vidéo et elle est très bonne, et même si je n'ai pas l'impression qu'elle aboutisse à une stratégie de distribution enfichable, elle est définitivement à 90 % du chemin parcouru.Les questions mettent cependant en évidence des différences utiles avec cette approche qui répondent à certaines de mes autres préoccupations et me donnent quelques références sur lesquelles poursuivre le suivi.J'accepte donc provisoirement votre réponse, même si je considère la question ouverte.

Answer 1

Si vous avez le temps, cela vaut la peine d'y jeter un oeil la conférence technique Google donnée par Wuala.Ils discutent des mêmes problèmes auxquels ils ont été confrontés lors de la création de leur système de fichiers peer-to-peer.

Answer 2

Il existe plusieurs systèmes avec différents aspects de ce que vous recherchez et chacun faisant des compromis différents, y compris, mais sans s'y limiter :

La Dynamo d'Amazon : http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf

Kaï : http://www.slideshare.net/takemaru/kai-an-open-source-implementation-of-amazons-dynamo-472179

Hadoop : http://hadoop.apache.org/core/docs/current/hdfs_design.html

Accord: http://pdos.csail.mit.edu/chord/

Ruche: http://www.cs.cornell.edu/People/egs/beehive/

et plein d'autres.Après avoir construit un système personnalisé dans ce sens, j'ai également laissé certains des éléments de base sous forme open source : http://code.google.com/p/distributerl/(ce n'est pas un système entier, mais quelques bibliothèques utiles pour en construire un)