대규모 데이터 세트를 보존하기 위한 최선의 전략은 무엇입니까?

Question

저는 측정항목 데이터를 기록하는 프로젝트를 이끌고 있습니다.해당 데이터를 수년간 보관하고 싶습니다.그러나 장기 추세 분석에는 필요하지만 단기 보고에는 필요하지 않은 데이터로 인해 기본 테이블이 너무 커지는 것을 방지하고 싶습니다.

이 상황을 처리하는 가장 좋은 전략은 무엇입니까?단순히 이전 데이터를 다른 테이블에 보관하시겠습니까?아니면 데이터 자체의 일부 통합을 통해 "롤업"(그런 다음 다른 테이블에 저장)하시겠습니까?아니면 완전히 다른 것인가요?

추가 정보:우리는 SQL Server 2005를 사용하고 있습니다.

Answer 1

우리는 직장에서 두 가지 방법을 모두 사용하지만 약간 다릅니다. 모든 판매 데이터를 30일 동안 기본 테이블에 보관한 다음 밤(야간 작업의 일부)에 해당 날짜의 매출을 요약으로 롤업합니다(판매된 제품 x 수량 n개) 오늘 등) 보고상의 이유로 별도의 테이블에 저장하고 30일 이상의 매출은 다른 데이터베이스에 보관한 다음 1년에 한 번(과세연도에 해당) 새 보관 데이터베이스가 시작됩니다.완벽하진 않지만..

이런 방식으로 우리는 요약 데이터를 빠르게 얻고 현재의 모든 판매 데이터를 가까이에 보관하며 상세한 아카이브 데이터를 위한 무제한 공간을 확보합니다.우리는 모든 것을 하나의 데이터베이스(다른 테이블)에 보관하려고 시도했지만 데이터베이스(인터베이스)의 파일 크기가 너무 커져 시스템이 다운될 수 있었습니다.

우리가 가진 유일한 실제 문제는 연결 및 연결 해제가 느리고 분석이 SQL이 아닌 코드에서 수행되어야 하기 때문에 여러 데이터베이스에 걸쳐 있는 세부 데이터에 액세스하는 것입니다.

Answer 2

SQL Server 2005를 사용하는 경우 이 제품을 사용하는 것이 좋습니다. 파티션을 나눈 테이블.

Answer 3

예산 등과 같은 제약 조건에 따라 이는 데이터 웨어하우스 애플리케이션에 완벽한 후보처럼 들립니다.이는 일반적으로 데이터 웨어하우스로 사용할 새 서버를 도입합니다.SQL Server 2005는 기본적으로 이러한 많은 활동을 지원하므로 추가 SQL Server 서비스(예:분석 서비스, 보고 서비스)를 통해 사용자에게 추가적인 가치를 제공합니다.(보다 http://www.microsoft.com/technet/prodtechnol/sql/2005/dwsqlsy.mspx)

Answer 4

@Jason - 데이터를 일반 텍스트 파일에 보관하면 데이터에 대한 장기적인 추세 분석을 어떻게 쉽게 수행할 수 있는지 모르겠습니다.

@Jason - 내 요점은 어떤 종류의 임시 분석(예:동향)은 비즈니스 담당자가 데이터에 대해 수행해야 하며 데이터를 텍스트 파일로 롤업하거나 보관해도 실제로 문제가 해결되지 않습니다.물론 텍스트 파일을 사용하는 코드를 작성하는 것은 여러 언어에서 쉽지만 해당 문제는 해결되었습니다.또한 오늘날의 RDBMS는 적절하게 설정하고 유지 관리할 경우 내구성이 매우 뛰어나다고 주장하고 싶습니다.그렇지 않다면 데이터를 보관하는 것은 고사하고 그 위에 비즈니스를 운영할 이유가 무엇입니까?텍스트 파일의 내구성이 데이터베이스보다 우수하다는 주장 때문에 일반 텍스트 파일에 보관할 필요가 없다고 생각합니다.

Answer 5

이러한 옵션 중 하나는 훌륭하지만 실제로는 문제 영역에 따라 다릅니다.현금 잔액이나 통계 데이터와 같은 경우 기록을 롤업하고 통합하는 것이 가장 좋은 방법이라고 생각합니다. 그런 다음 롤업된 기록을 병렬 아카이브 테이블로 이동하고 다음과 같은 경우 "언롤링"할 수 있는 방식으로 키를 입력할 수 있습니다. 필요한.이렇게 하면 기본 데이터 테이블을 깨끗하고 빠르게 유지하면서 감사 등을 위해 추가 데이터를 유지할 수 있습니다.핵심 질문은 "롤업" 프로세스를 어떻게 구현하느냐입니다.자동으로, 트리거나 서버 측 프로세스를 통해, 아니면 애플리케이션 수준에서 사용자 개입을 통해?