플랫 파일을 보관하기위한 이상적인 옵션
https://stackoverflow.com/questions/511797
-
21-08-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian문제
우리는 현재 일주일에 수천 개의 플랫 파일을 받고 있으며, 이들에 대한 보고서를 실행하고 사람들이 처리하고 참조 할 수 있도록 PDF로 수출하는 시스템이 있습니다.
나는 현재 이들을 데이터베이스에로드하여 모든 필드/서식이 유효한지 확인하고 내보내고 다음 실행에서 테이블을 잘라냅니다.
내가 궁금한 점은 모든 사람 이이 벌크로드 일반 텍스트 데이터를 6 개월 동안 저장하는 가장 공간 효율적인 방법이라고 생각하는 것입니다.
일일 SQL 백업 또는 지퍼 아카이브 또는 무엇이든 형태로 항상 문제를 해결하기 위해 오래된 데이터를 다시로드 할 수있었습니다.
모든 아이디어는 환영합니다. 나는 어떤 제안에도 열려 있습니다.
해결책
따라서 원시 데이터의 플랫 파일을 대량로드하면 SQL Server 2005를 사용하여 처리하고 별도의 처리 된 플랫 파일을 얻은 다음 데이터를 덤프합니까?
글쎄, 이것이 올바른 경우, SQL 백업은 데이터가 DB에 남아 있지 않다고 말하고 있기 때문에 도움이되지 않습니다. 유일한 옵션은 디렉토리에서 배치의 양호한 구성과 결합 된 입력 및/또는 출력 파일의 효율적인 압축입니다.
배치 기능을 예약 한 공격적인 압축 프로그램을 추천하지만 하나의 프로그램에 잠겨있는 것을 피하기 위해 사용하는 프로그램을 난해하지 않도록주의하십시오.
다른 팁
최근의 생성 압축 유틸리티 (7Z 및 RAR 압축은 훌륭함)를 사용하고 모든 것을 정리 한 후 번들로 압축하여 쉽게 찾을 수 있습니다.
7ZIP 용 .NET과 함께 작동하는 SDK가 있습니다.
-아담
분석 후 두 가지 유형의 데이터가 있습니다.
- 원본 데이터 (일반적으로 매우 큽니다)
- 파생 데이터 (보통 작음)
귀하의 경우, 파생 된 데이터는 보고서에 들어가는 데이터 일 수 있습니다. 원래 데이터의 경우 날짜와 데이터 유형에 따라 체계적인 이름으로 엄청나게 압축 된 아카이브 파일을 만듭니다. 이것의 가치는 팀의 일부 초보자가 어떻게 든 원래 데이터를 데이터베이스로 가져 오는 코드를 완전히 없애는 경우 복구 할 수 있다는 것입니다. 파생 된 데이터가 작 으면이를 다른 데이터베이스 테이블에 복사하거나 별도의 플랫 파일에 보관하는 것에 대해 생각할 수 있습니다.
일반적으로 데이터를 백업하는 것은 까다로운 문제입니다.
- 데이터 처리량의 양
- 오프 사이트 백업을위한 사용 가능한 공간
- 백업 시스템을 업그레이드하는 것과 문제가 발생하면 데이터를 재생하는 데 사임하는 가치.
당신의 설정은 어떻습니까? 압축 된 버전의 데이터를 보유 할 수있을 정도로 하드 드라이브가 빠르게 증가할까요? 오프 사이트 백업에 대해 생각해 보셨습니까?
파일을 적절하게 구성하는 파일 계층 구조를 구성하고 전체 디렉토리를 지퍼하고 사용하십시오. -u 새 파일을 추가하기 위해 ZIP의 플래그를 보관 한 후 파일을 삭제할 수 있지만 다음 배치를 추가 할 디렉토리 구조를 보존 할 수 있습니다.
파일 이름이 어떻게 든 버전을 인코딩하거나 (날짜 또는 무엇이든) 고유 한 경우 Signle 디렉토리보다 더 멋진 것이 필요하지 않습니다. 그렇지 않은 경우 버전을 복구 할 수 있도록 디렉토리를 설정해야합니다.
압축하여 데이터베이스의 이진 필드에 저장하십시오. 그런 다음 "데이터 세트로로드"버튼을 만들어 데이터 세트를 가져올 수 있습니다 (교체하기 위해 가져 오는 각 데이터 세트를 추적한다고 가정합니다).
이런 식으로 모든 것이 데이터베이스에 저장되고 데이터베이스에 백업되고, 올바르게 인덱싱되고 연결되어 동시에 압축됩니다.
원격 시스템에 SDK를 피하고 소프트웨어를 설치하고 싶다는 것을 나타냅니다.
귀하의 옵션은 상당히 제한되어 있습니다.
Windows 컴퓨터를 사용하고 있으므로 간단한 스크립트를 사용하지 않는 이유는 무엇입니까?
이 질문은 Windows vbscript를 사용하여 파일을 압축하고 압축하는 방법에 대한 몇 가지 제안을 제공합니다.
Windows의 내장 지퍼 압축을 스크립트 할 수 있습니까?
'설치'할 것이없고 SDK는 없습니다. 스크립트를 복사하고 스케줄러를 통해 호출하면 모두 설정됩니다.
-아담
