Hive / Impala auswählen und durchschnittlich alle RowKey-Versionen

Question

Ich frage mich, ob es einen Weg gibt, um frühere Versionen eines bestimmten RowKey in HBase zu erhalten, ohne ein MapReduce-Programm schreiben zu müssen, und durchschnittlich die Werte.Ich war neugierig, ob dies mit Hive oder Impala (oder einem anderen ähnlichen Programm) möglich war und wie Sie dies tun würden.

Mein Tisch sieht so aus:

generasacodicetagpre.

Ich möchte alle Werte für das bestimmte Datum und eine Sub-Zeichenfolge der ID ("411") für alle Versionen durchschnittlich durchschnittlich durchschnittlich.

dank der Zeit dank.

Answer 1

Impala verwendet den Hive-Metastore, um seine logische Begriffe einer Tabelle auf Daten auf Daten, die physisch in HDFs oder HBase gespeichert sind, aufzuzeichnen (Weitere Informationen finden Sie auf der cloudera-Dokumentation ).

Um mehr darüber zu erfahren, wie Sie den Hive-Metastore über Daten erzählen, um in HBASE gespeicherte Daten zu erfahren, siehe Hive-Dokumentation .

Leider in der oben verknüpften Hive-Dokumentation:

Es gibt derzeit keine Möglichkeit, auf das HBASE-Timestamp-Attribut zuzugreifen, und Abfragen steigen immer auf Daten mit dem neuesten Zeitstempel

Es gab einige Arbeit, um diese Funktion gegen eine ältere Version von Bienenstock in 2828 , aber leider wurde diese Arbeit leider noch nicht in den Kofferraum zusammengeführt.

Für Ihre Anwendung müssen Sie Ihr HBASE-Schema um eine "Version" -Schandel-Spalte neu gestalten, um den Hive-Metastore über diese neue Spalte mitzuteilen und Ihre Bewerbung auf diese Spalte aufmerksam zu machen.