응용 프로그램 성능의 기준선과 벤치 마크의 차이

Question

기준이란 무엇이며 벤치 마크는 무엇입니까? 이들에 대한 가장 좋은 정의는 무엇이며 어떻게 숫자를 기준으로하고 다른 세트를 벤치마킹합니까?

Answer 1

안녕하세요 Gagneet, 저는 Windows Performance Team에 있습니다.이 용어를 사용하는 방법은 다음과 같습니다.

ㅏ 기준선 후속 측정을위한 참조로 사용되는 알려진 구성의 측정입니다. 기본 라인의 경우 측정중인 물건을 특성화합니다. 여기에는 잘 특성화 된 기계 세트가 있습니다. 이것은 우리가 어떻게 작동하는지, 우리가 그들에게 좋은 드라이버를 가지고 있으며, 하드웨어가 깨지거나 결함이 없다는 것을 알고 있습니다.

이 하드웨어에는 XP-RTM, XP-SP2, Vista-RTM, Vista-SP1, Vista-SP2 등과 같은 몇 가지 "기본 라인"측정이 있습니다.

이러한 각 기본 라인에 대해, 우리는 부팅의 모든 단계, CPU, 디스크 및 메모리 사용량, DLL로드 수 등을 포함하여 잘 특성화되고 이해 된 측정 세트가 있습니다.

기준선이 설정되면 다른 측정을 수행하여 기본 라인과 비교할 수 있습니다. 예를 들어, 현재 작업 중입니다 창 7. 각 빌드 (매일)에 대해 부팅 시간 테스트 세트를 실행합니다. 각 Win-7 빌드의 모든 특성을 기본 라인 측정과 비교합니다. 여기에는 이전의 모든 Win-7 빌드가 포함됩니다. 이를 통해 차이점이 어디에 있는지 확인하고 문제 영역으로 시추하는 데 도움이됩니다. 자세한 내용은 다음과 같습니다.

Answer 2

흥미로운 정의 SPR (소프트웨어 생산성 연구)

기준선과 벤치 마크는 유사하지만 뚜렷한 활동입니다.

비 유적으로 기준선은 "모래의 선"입니다. 향후 참조를 위해 중요한 성능 특성을 측정하는 조직의 경우.

이것은 반드시 "좋은"상태 일 필요는 없으며 참조 일뿐입니다.

벤치 마크는 단어 자체의 원래 파생을 통해 가장 잘 이해됩니다.

상인들은 목재를 일관된 길이로 톱질하는 것과 같은 반복적 인 작업에 종사했으며, 종종 절단 전에 보드의 배치를 나타내는 워크 벤치에 노치를 배치했습니다. 말 그대로, a 벤치 마크는 비교의 표준이되었으며 과거 성공의 지표가되었습니다..

원래:

• 기준선이 있습니다 중요한 상태의 식별, 귀하의 숫자 세트가 공개적으로 인정 된 승인 상태를 충족 시킨다는 것을 의미합니다.
• 벤치 마크는 평가에 관한 것입니다 상대적인 응용 프로그램의 성능.

Answer 3

과학 연구에서 벤치 마크는 일종의 테스트이며 기준은 일종의 결과입니다.

벤치 마크 테스트의 예를 살펴 보겠습니다. 우리는 영어로 5,000 문장 모음을 가져 와서 실험실의 4 코어 Dell 기계를 사용하여 다양한 알고리즘을 사용하여 스페인어로 변환 할 수 있습니다. 우리는 데이터와 기계를 일정하게 유지했기 때문에 다른 알고리즘으로 취한 시간을 작업을 완료하기 위해 상대적 정확도 (금 표준 인간 번역에 대해 측정 됨)를 의미있게 비교할 수 있습니다.

이 벤치 마크 테스트의 기준을 찾기 위해 컨텍스트를 고려하지 않고 각 개별 단어에 대해 가장 일반적인 번역을 찾는 매우 순진한 번역 알고리즘을 작성할 수 있습니다. 인간 번역에 대한이 알고리즘의 정확성을 측정하면 다른 사람들이 이길 수있는 최소 점수 (기준선)에 대한 아이디어를 제공하며 정확도 수준이 "좋은"것으로 간주되는 느낌을줍니다.

기준선의 스케일의 다른 쪽 끝에서 상한은 유용한 척도입니다. 번역 예에서, 우리는 다른 사람에 대한 인간 번역 중 하나의 정확성을 측정하여 상한을 찾을 수 있습니다. 이것은 우리에게 인간의 불일치의 천장을 치기 전에 "정확도"측정 값을 얻는 것이 얼마나 높은지에 대한 아이디어를 제공합니다. 우리는 기계 번역 알고리즘이 기준선과 상한 사이의 수준에서 수행 될 것으로 기대합니다.

Answer 4

내가 틀렸다면 나를 바로 잡지 만 "기준선"은 알려진 좋은 상태를 지칭하는 반면 "벤치 마크"는 현재 상태를 나타냅니다. 벤치 마크를 수행하여 기준선과 비교할 수 있습니다.