P2P 시스템 전반에 걸쳐 항목을 강력하면서도 최소한으로 배포하는 방법

Question

쿼리할 수 있는 P2P 시스템이 있다면 다음을 원할 것입니다.

• 네트워크 전체에서 총 쿼리 수를 줄입니다("인기" 항목을 널리 배포하고 "유사" 항목을 함께 배포).
• 각 노드에서 과도한 저장 공간 방지
• 클라이언트 가동 중지 시간, 하드웨어 오류 및 사용자 이탈에 직면한 경우에도 중간 수준의 희귀 항목에 대한 우수한 가용성 보장(아마도 기록 보관자/역사가를 위한 희귀 항목 감지)
• 네트워크 파티션이 있는 경우 일치하는 항목을 찾지 못하는 쿼리 방지

다음 요구 사항을 고려하면 다음과 같습니다.

1. 표준 접근 방식이 있습니까?그렇지 않다면 존경받으면서도 실험적인 연구가 있습니까?나는 배포 계획에 대해 잘 알고 있지만 실제로 견고성에 대한 학습을 ​​다루는 내용은 본 적이 없습니다.
2. 제가 명백한 기준을 놓치고 있는 걸까요?
3. 이 문제를 해결하거나 작업하는 데 관심이 있는 사람이 있나요?(그렇다면 이번 주말에 함께 만들었고 일반적으로 도움이 되지 않는 조언을 제공하는 매우 형편없는 시뮬레이터의 일부를 오픈 소스로 제공하게 되어 기쁩니다.)

@cdv:지금 영상을 봤는데 아주 좋습니다. 플러그형 배포 전략에 도달했다고는 느껴지지 않지만 확실히 90% 정도 도달했습니다.그러나 질문은 내가 더 우려하는 부분을 해결하는 이 접근 방식과의 유용한 차이점을 강조하고 후속 조치를 위한 몇 가지 참고 자료를 제공합니다.따라서 질문이 열려 있다고 생각하지만 귀하의 답변을 잠정적으로 수락합니다.

Answer 1

시간이 있다면 확인해 볼 가치가 있습니다 Wuala가 진행한 Google 기술 강연.그들은 P2P 파일 시스템을 구축할 때 직면했던 동일한 문제에 대해 논의합니다.

Answer 2

다음을 포함하되 이에 국한되지 않고 원하는 것의 다양한 측면을 갖고 각각 서로 다른 타협을 하는 여러 시스템이 있습니다.

아마존의 다이나모: http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf

카이: http://www.slideshare.net/takemaru/kai-an-open-source-implementation-of-amazons-dynamo-472179

하둡: http://hadoop.apache.org/core/docs/current/hdfs_design.html

현: http://pdos.csail.mit.edu/chord/

벌집: http://www.cs.cornell.edu/People/egs/beehive/

그리고 많은 다른 사람들.해당 라인에 따라 사용자 정의 시스템을 구축한 후 일부 빌딩 블록도 오픈 소스 형식으로 공개했습니다. http://code.google.com/p/distributerl/(전체 시스템은 아니지만 시스템을 구축하는 데 유용한 몇 가지 라이브러리)