La gestión de enorme registros de la transacción?

Question

Tengo una aplicación que se ha programado y obtener algunos datos de otra tabla de base de datos y volcados en mis principales aplicaciones de la base de datos de la tabla,el número de registros en esta tabla se incrementa a diario, y yo supongo que va a crecer día a día como es el de las transacciones de datos de los eventos que se producen.Estos datos son utilizados para el procesamiento por la aplicación principal que lleva a cada registro y el análisis necesario y marcas de cada registro como procesados.

¿Qué tipo de solución le puedo dar para que yo pueda mantener el tamaño de la base de datos de abajo en el futuro?

Cómo lo harías en esta situación?

Desde mi observación de un par de aplicaciones empresariales,una de ellas dispone de una opción que el usuario puede archivo de registros de más de 60 días", etc...a un archivo de texto.Bueno, yo podría ser una opción para archivar los registros procesados en un archivo de texto y eliminar los registros de la base de datos,el archivo de texto podría ser más tarde importado si es necesario?Es esto una solución?

Answer 1

Si usted necesita de vez en cuando el acceso que los datos más antiguos en la construcción de un proceso de archivo de texto y, a continuación, a la carga de nuevo de texto es probablemente no es una gran solución.Unidades de disco duro son baratos.

Puede agregar los datos más antiguos.Por ejemplo, si los datos de la transacción es en el milisegundo de grano ahora, pero cuando se informe sobre los datos más antiguos de llegar es por el día, a continuación, considere la posibilidad de agregación de los datos a "diario" como el proceso de archivado.Usted puede ser capaz de colapso cientos de miles de filas en un solo un par para cada día.

También considere la posibilidad de un buen esquema de particiones donde se puede realizar las transacciones más recientes en un conjunto de discos y el archivado de datos a otros discos, esperemos que en un proceso donde usted puede agregar fácilmente nuevos discos y la creación de mesas de esos discos.

Answer 2

¿Qué tipo de datos del pasado necesidades de información tiene su empresa?Soltando los datos archivados en un archivo de texto es todo bien y bueno, suponiendo que usted no necesita para ser capaz de elaborar informes de que los datos en el futuro.Sin embargo, tener en un archivo de texto significa que usted tiene que tener un manual de proceso de importación en la demanda en una base de datos cuando es necesario.

Una mejor opción sería mover el archivado de datos en un almacén de datos de la base de datos que no se utiliza para el procesamiento de transacciones (OLTP), y en su lugar se utiliza como la base de un procesamiento analítico de la base de datos (OLAP).Cuando llega el momento de informes a partir de esta archivado de datos, su listo para ir.Si usted es cuidadoso acerca de cómo la estructura de los datos de un archivo de base de datos, no debe ser muy fácil para agregar todos los datos en un Cubo OLAP, lo que hace que la elaboración de informes a partir de los datos mucho más rápido y más flexible.

Pero de nuevo...depende de si usted informe a partir de los datos o no, y qué tan lejos en el tiempo que la presentación de informes podría ir.

Answer 3

No depende de cómo mucho el análisis se llevará a cabo en datos del pasado, pero hay una manera de mantener a todos en la base de datos sin que el rendimiento se convierta en un problema.

La solución que viene a la mente es la partición de las tablas en cuestión.Mi empresa tiene una base de datos de la tabla que tiene los datos de particiones por mes, cada uno de los cuales contienen alrededor de 20 millones de filas.La división hace que el uso de este tipo de datos mucho más práctico que si se almacenan en una sola tabla.Ahora la única limitación real es el espacio en disco, la cual no es un problema teniendo en cuenta lo barato que es en estos días.

Sé, sin embargo, que algunas bases de datos no apoyan la creación de particiones.Si este es el caso, supongo que el almacenamiento de los datos en un archivo delimitado sería una solución adecuada.

Answer 4

En mi humilde opinión, depende de qué tan probable es que el usuario tendrá que analizar los datos anteriores.Si es probable, basta con crear buenos índices y mantener todos los datos en su base de datos principal.

Si no, a continuación, colóquelo en un TXT.El momento en el que sucede debe ser configurable por supuesto.