평가 HDF5:어떤 제한/기가 HDF5 제공한 모델링 데이터가?

Question

우리가 평가에 기술된 우리가 사용하는 데이터를 저장하기 위해 우리가 수집하는 동안 분석은 C/C++코드입니다.의 경우에는 C++,데이터의 양을 수 있습이 상대적으로 큰~20 메가바이트 당 TU.

후에 읽은 다음 그래서 응답 그것은 나를 고려하는 HDF5 수도 적절한 기술은 우리를 위해 사용합니다.는데 여기 사람들이 나를 도울 수 있는 대답 몇 초기 질문이 있:

1. 성능입니다.일반적인 사용을 위한 데이터를 쓰는 한 번 읽고"여러 가지"시간과 비슷하게 평생의'.o'파일을 컴파일러에서 생성.어떻게 HDF5 에 대해 비교 같은 것을 사용하는 SQLite DB?은 합리적인 비교하니까?

2. 시간이 지남에 따라 우리는 것이 추가 정보를 저장하고 있는지 반드시 원하는 재배포하는 완전히 새로운 설정을"독자는"을 지원하는 새로운 형식입니다.을 읽은 후 사용자 가이드 제가 이해하는 HDF5 유사한 또는 XML DB,에서는 정보와 관련 태그/열고 그래서 내장 도구를 읽고 이 구조는 무시된 필드 그것은 염려하지 않습니까?은 나의 이해에이 올바른지?

3. 상당한 양의 정보는 우리 소원을 작성하는 것 트리 구조의 유형:범위 계층의 유형은 계층 등입니다.이상적으로 우리는 모델의 범위를 갖는 것으로,부모님 아이들 등등.그것은 하나 HDF5 개체"지점"다른?하지 않을 경우,거기서 표준 기술을 사용하여 이 문제를 해결 HDF5?거나,필요에 DB,우리가 필요한 열쇠는"링크를"하나의 객체를 또 다른 적절한 조회를 찾을 때가 있습니다.

많은 감사!

Answer 1

어떻게 HDF5 에 대해 비교 같은 것을 사용하는 SQLite DB?은 합리적인 비교하니까?

종의 비슷하지만 정말 없습니다.그들은 모두 구조화된 파일이 있습니다.SQLite 는 기능을 지원하는 데이터베이스 쿼리를 사용하여 SQL.HDF5 는 기능을 지원하는 많은 과학적인 데이터 집합입니다.

그들은 모두 의미하는 것 높은 성능을 제공합니다.

시간이 지남에 따라 우리는 것이 추가 정보를 저장하고 있는지 반드시 원하는 재배포하는 완전히 새로운 설정을"독자는"을 지원하는 새로운 형식입니다.

는 경우에 데이터를 저장하는 구조화된 양식 데이터 유형의 구조들도 저장에 HDF5 파일입니다.나는 약간 녹는 방법으로 이 작업(예:포함하는 경우 타고난 호환성),그러나 나는 그를 설계하는 경우"리더는"올바르게 처리할 수 있어야 하는 형식이 변경되었다.

그것은 하나 HDF5 개체"지점"다른?

절대로!당신이 사용하고 싶 특성.각 객체는 하나 이상의 문자열을 설명하는 경로에 도달하는 개체입니다.HDF5 그룹 는 유사한 폴더/디렉토리를 제외하고,그 폴더/디렉토리는 계층=독특한 경로에 대해 설명합니다 하나의 위치(파일시스템 w/o 하드 링크에서 이상),또는 그룹을 형성 방향 그래프가 포함될 수 있는 주기입니다.나는 확실하지 않다는지 여부를 저장할 수 있습니다"pointer"개체에 직접 특성으로,하지만 당신은 항상 저장,절대 또는 상대적인 경로를 문자열 특성이 있습니다.(또는 다른 곳에서 문자열로;당신은 수 조회 테이블의 풍부한 맛을 원하는 경우.)

Answer 2

우리는 내 프로젝트에서 HDF5 데이터를 생성하지만 일반적으로 직접 처리하지는 않습니다. 처음 두 질문을 찌를 수 있습니다.

1. 우리는 한 번 쓰기를 사용하고 여러 번 읽기 모델을 읽고 형식은 이것을 잘 처리하는 것으로 보입니다. 나는 둘 다에 글을 쓰는 데 사용 된 프로젝트를 알고 있습니다. 신탁 데이터베이스 및 HDF5. 결국 그들은 성능이 어려움을 겪었고 아무도 그것을 사용하지 않았기 때문에 Oracle 출력을 제거했습니다. 분명히 SQLITE는 Oracle이 아니지만 HDF5 형식은 작업에 더 적합했습니다. 이 하나의 데이터 포인트를 기반으로 RDBMS는 여러 인서트 및 업데이트에 대해 더 잘 조정될 수 있습니다.

2. 새로운 데이터 유형을 추가 할 때 고객이 사용하는 독자는 강력합니다. 변경 사항 중 일부는 예상되지만 더 많은 데이터 필드를 추가 할 때 문제를 해결하는 것에 대해 걱정할 필요는 없습니다. 우리의 DBA는 최근에 HDF5 데이터를 읽고 Google 어스에서 시각화를 위해 KMZ 파일을 채우기 위해 Python 프로그램을 작성했습니다. 그가 파이썬을 배우는 데 사용한 프로젝트 였기 때문에 독자를 구축하기가 어렵지 않다고 말합니다.

세 번째 질문에서는 절을 할 것입니다 Jason S의 우수한 지식.

나는 HDF5가 완전히 합리적인 선택이라고 말하고 있습니다. 특히 이미 관심이 있거나 과학계를 위해 무언가를 생산할 계획이라면.