Le stockage de 86k super colonnes (avec 1 à 10 petites colonnes chacun) par rangée est-il une bonne idée à Cassandra?

StackOverflow https://stackoverflow.com/questions/8957430

Question

TLDR: est ~ 90 000 super colonnes avec 1 à 10 colonnes chacune de trop dans une ligne? Que diriez-vous de ~ 1500? Les valeurs de colonne sont d'environ 6 octets chacune.

question complète:

Je recherche divers magasins de données pour les données de séries chronologiques. Des bases de données orientées vers la colonne telles que Cassandra et HBASE semblent être un très bon ajustement.

Les exigences consistent à stocker des millions de séries de données à venir à (minimum) un intervalle de 1 minute. Idéalement, nous serions en mesure de soutenir un intervalle de 1 seconde si l'entreprise devait l'exiger (ils force sera probablement).

Les conseils offerts dans ce article de blog ainsi que utilisé par Opentdb prendre un sens.

Essentiellement, les clés sont l'identifiant de la série concaténé au premier temps du jour, les colonnes sont créées pour chaque mesure de la journée. C'est environ 86400 colonnes par ligne.

Cependant, l'immuabilité / le versioning des données est assez importante. Les besoins de l'entreprise dictent la possibilité de mettre à jour les valeurs des séries tout en conservant l'historique complet des données.

Explorer les super colonnes de Cassandra pour fournir une autre dimension afin de verser les valeurs qui se traduisent par 86400 super colonnes. Chaque super colonne contiendrait ensuite une colonne lorsque la valeur est créée pour la première fois (éventuellement un timeUUID), puis a une colonne de plus ajoutée sur chaque "mise à jour". Les mises à jour se produiront régulièrement à des sous-ensembles limitées de séries et de valeurs. En dessous de conditions idéales il n'y aura pas de mises à jour. Idéalement, cela signifie que chaque super colonne n'a pas une énorme quantité de données à charger, et la plupart des accès ne seront qu'à la valeur la plus récente.

Alors pour revenir à la question:

Y a-t-il un coup de performance ou un problème que je cherche à utiliser autant de super colonnes (86k) par ligne?

Pas de solution correcte

Licencié sous: CC-BY-SA avec attribution
Non affilié à StackOverflow
scroll top