Azure Storage Table - Calcular o persisten los totales

Question

Estoy buscando en el uso de la tabla de almacenamiento para almacenar algunos datos transaccionales, sin embargo, tengo que apoyar algunas informar sobre ella de muy alto nivel, básicamente asciende por día / mes.

Un par de opciones que tiene, aunque de:

• El uso de una estructura clave de partición / fila y realizar dinámicamente suma
  p.ej. 20101101_ITEMID_XXXXXXXX (x = GUID o el tiempo, para hacer único) entonces le consulta para un meses de datos utilizando una parte de la clave de fila (ITEMID_201011), y para un total en la propiedad "Costo" en el tipo.

  ¿Cómo sería el límite de consulta de 1000 registros será gestionado por esto, sin embargo? (Esto es, si hay más de 1000 transacciones para el día, con un total sería difícil)

• Utilice otro disco para almacenar el total para el día, y actualizar esta medida que se añaden nuevos registros
  p.ej. clave de fila "20101101_ITEMID_TOTAL" a continuación, consulta fuera de este para los días totales, o meses, o años totales.

¿Cuál es la mejor manera de hacer esto? ¿Hay una 'mejor práctica' para este tipo de requerimiento mediante el almacenamiento de tablas?

Answer 1

No estoy seguro de cuál es la mejor práctica, pero puedo comentar que tenemos una situación similar con AzureWatch y son sin duda el uso de valores pre-agregados en tablas.

sobre todo por razones de rendimiento - almacenamiento de tablas no es instantánea, incluso si usted consulta por única partición teclas y un rango en la fila de clave. El tiempo que se tarda en descargar los registros es algo importante y en función de los registros de la CPU podría pico hacia arriba, ya que tiene que des-serializar los datos en objetos. Si se llega a viajar al almacenamiento de tablas varias veces debido al límite de registro 1000, que tendrá que pagar más también.

Algunos otros pensamientos a tener en cuenta:

¿Sus totales agregados a cambiar? Si no, el este es otro empujón hacia pre-agregación

¿Hay que mantener los valores agregados después de los datos en bruto se ha ido o va a necesitar para purgar los datos en bruto? Si es así, entonces es otro empujón hacia la pre-agregación