Distribuído armazenamento de BLOBs for .NET?

Question

Eu estou procurando um servidor de biblioteca + razoavelmente bem testado para armazenar uma tabela hash distribuída persistente.

Estou hesistant usar soluções baseadas em SQL que os dados é altamente orientada documento, que consiste de milhões de bolhas ~ 64KB com apenas um único índice (calculado por hash disse BLOB) - e precisa ser capaz de ser distribuído para perspectivas de escala de longo prazo.

Devido à despesa e considerações de largura de banda, as soluções externas, como S3 não são uma opção.

Algo como CouchDB ou Projeto Voldemort seria o ideal - no entanto, há uma notável falta de .NET ligações para ambos (PV pode ser IKVMC'd de Java -., Entretanto, tem "problemas"). Tanto a chave e o valor são matrizes de bytes (de chave é de 16 bytes, o valor é superior a 2048 KB média 64KB)

Eu tenho procurado até agora para uma espécie de porta NET do Dynamo, Chord e similar -. No entanto, a maioria dos resultados parecem ser puramente caches na memória e falta qualquer forma de persistência ou replicação

Alguém tem alguma idéia ou sugestão?

Answer 1

Dê uma olhada de Ayende Rhino DHT . Pode ser mais em linha com o que você está procurando. A fonte pode ser adquirido aqui .

Answer 2

DryadLINQ ou Hadoop.Net pode ajudar.

Hadoop.Net é a versão dotnet de Hadoop. Mais sobre Hadoop pode ser encontrada aqui

Answer 3

Na verdade, eu acho que você deve considerar SQL Server 2008. armazenar os dados em uma tabela com uma coluna varbinary (max), juntamente com uma coluna que contém o hash dessa coluna. Índice de hash, como você sugeriu.

Você vai então ser capaz de usar os diversos recursos de distribuição do produto.

Answer 4

MS Velocity .

Resumo: “Velocity” é um aplicativo de plataforma de cache distribuído na memória para o desenvolvimento escalável, disponível, e aplicações de alto desempenho. memória “Velocity” fusíveis em vários computadores para dar uma visão única cache unificada para aplicativos. As aplicações podem armazenar qualquer objeto CLR serializado sem se preocupar com onde o objeto fica armazenado. Escalabilidade pode ser alcançado simplesmente adicionando mais computadores sob demanda. “Velocity” também permite a cópias de dados a ser armazenado no cluster, protegendo assim contra falhas de dados. “Velocidade” pode ser configurado para funcionar como um serviço acessível através da rede ou pode ser executado incorporado com a aplicação distribuída.

Answer 5

Você pode tentar StorageEdge tem tecnologia NCache para ele de back-end-lo por usá-lo você vai ter o apoio de cache distribuído que irá impulsionar SharePoint desempenho, confiabilidade, escalabilidade e otimizar seu armazenamento, ao mesmo tempo.

Aqui está link para a página inicial StorageEdge http://www.alachisoft.com/storageedge/ I espero que isso ajuda:)

Rest for .NET você pode sempre tentar NCache um grande nome na Distribuído Caching pode encontrar seus detalhes sobre http: //www.alachisoft.com/ncache/