Opciones ideales para archivar archivos planos

Question

Actualmente recibimos miles de archivos planos por semana y tengo un sistema que genera informes sobre estos y los exporta a PDF para que nuestra gente los procese y los consulte.

Actualmente los cargo de forma masiva en una base de datos, me aseguro de que todos los campos/formato sean válidos, los exporto y trunco ​​las tablas en la siguiente ejecución.

Lo que me pregunto es cuál cree todo el mundo que sería la forma más eficiente en cuanto a espacio para almacenar posiblemente 6 meses de esta carga masiva de datos de texto sin formato.

Ya sea en forma de copias de seguridad diarias de SQL, archivos comprimidos o lo que sea, siempre tuve la capacidad de recargar datos antiguos para solucionar problemas.

Cualquier idea es bienvenida, estoy abierto a cualquier sugerencia.

Answer 1

Entonces, ¿carga de forma masiva archivos planos de datos sin procesar, utiliza SQL Server 2005 para procesarlos y obtiene un grupo separado de archivos planos procesados, y luego volca los datos?

Bueno, si esto es correcto, las copias de seguridad de SQL no ayudarán ya que parece estar diciendo que los datos no permanecen en la base de datos.Su única opción es una compresión eficiente de los archivos de entrada y/o salida junto con una buena organización de los lotes en directorios.

Recomendaría un programa de compresión agresivo, que tenga una funcionalidad por lotes programada, pero tenga cuidado de no volverse esotérico con el programa que utiliza para evitar quedar atrapado en un solo programa...

Answer 2

Utilice una utilidad de compresión de reciente generación (7z y compresión RAR son grandes) y comprimir en haces después de organizar todo lo que es fácil de encontrar.

Hay SDK para 7zip que trabajan con .NET para hacer esto fácil.

-Adán

Answer 3

Hay dos tipos de post-análisis de datos:

• los datos originales (por lo general muy grande)
• datos derivados (por lo general más pequeño)

En su caso, los datos derivados podrían ser los datos que entra en sus informes. Para los datos originales que acababa de hacer un gran archivo, archivo comprimido del mismo con un nombre sistemático basado en la fecha y el tipo de datos. El valor de esto es que si un novato en su equipo de alguna manera borra totalmente el código que importa los datos originales en la base de datos, puede recuperarse de ella. Si los datos derivados es pequeño, se podría pensar que se trata de copiar a cualquier otra tabla de base de datos, o se mantienen en un archivo plano separado porque algunos de sus problemas podrían resolverse con sólo llegar a los datos derivados.

Copia de seguridad de datos en general es un problema complicado, ya que depende de cosas como:

• Cantidad de rendimiento de datos
• El espacio disponible para copias de seguridad fuera del sitio
• El valor de la actualización de su sistema de copia de seguridad frente a sólo resignarse a la regeneración de datos si ocurren problemas.

¿Cuál es su configuración como? Serán los discos duros crecer lo suficientemente rápido para mantener la versión comprimida de los datos? ¿Ha pensado en las copias de seguridad fuera del sitio?

Answer 4

Construir una jerarquía de archivos que organiza los archivos de forma apropiada, zip todo el directorio, y el uso de la bandera en -u postal añadir nueva files.after de archivarlos, puede eliminar los archivos, pero conservar la estructura de directorios para el siguiente lote que se añade.

Si los nombres de archivo codifican la versión de alguna manera (fechas o lo que sea) o son de otra manera única que no tiene por qué ser nada más elegante que un directorio signle. Si no es así, es necesario configurar los directorios para que pueda recuperar versiones.

Answer 5

Comprimir y guardarlos en un campo binario en la base de datos. A continuación, se puede construir un botón de "recarga conjunto de datos" para hacer llevar en su conjunto de datos (estoy suponiendo que mantener un registro de cada conjunto de datos que se importa a reemplazarlo, etc.)

De esta manera, todo está almacenado en la base de datos y copia de seguridad con la base de datos, indexado y vinculado correctamente, y se comprime al mismo tiempo.

Answer 6

Usted ha indicado que desea evitar el SDK y la instalación de software en sistemas remotos.

Sus opciones son bastante limitadas.

Desde que está utilizando computadoras de las ventanas, por qué no usar un script sencillo?

Esta pregunta ofrece varias sugerencias sobre cómo utilizar ventanas VBScript para comprimir y descomprimir archivos:
puede ser escrito compresión ZIP incorporado en Windows'?

No hay nada que 'instalar', no hay SDK. Sólo tienes que copiar el guión terminado, llamarlo a través del programador, y eso es todo.

-Adán