Spalte Laden oben auf hadoop?

Question

Gibt es eine Spalte Speicher ähnlich wie Vertica, die oben auf Hadoop gebaut wird .. Ich spreche nicht über HBase wie es Sparse Matrix speichern und kann den Grad der Komprimierung erhalten, die durch so etwas wie Vertica erreicht werden kann?

Danke

Answer 1

Suchen Sie nach so etwas wie rcfile ? Es ist ein Dateityp, der einen säulen Speicher intern verwendet.

Answer 2

rcfile ist ein guter Anfang. Rcfile speichern Daten in einem PAX Layout - säulen innerhalb der Blöcke, die so groß ist wie HDFS der Blockgröße sein könnten. Es ist ein Papier, bei VLDB 2011 einen weiteren säulenSpeicherFormat beschreibt hier und eine Blog-Post mit einem kurzen Vergleich zu rcfile hier .

Answer 3

Ich habe nicht mit Hadoop gearbeitet, aber ich weiß, Vertica hat versucht, mit Hadoop zu integrieren.

http: // www .vertica.com / the-Analytik-Plattform / native-bi-etl-and-hadoop-MapReduce-Integration /

Answer 4

Schauen Sie auf Hadapt http://hadapt.com/

Dies ist eine kommerzielle Version von HadoopDB http://db.cs.yale.edu /hadoopdb/hadoopdb.html an der Yale University entwickelt. Es kann mit einer spaltenorientierten DB arbeiten, während Hebel Hadoop für fehlertolerante Ausführung (die an jedem Knoten eines Computer-Cluster installiert ist).