разница между базовой и эталонной производительностью приложения

Question

что такое базовый уровень и что такое эталон?какое определение для них является лучшим и как вы определяете базовый набор чисел и сравниваете другой набор?

Answer 1

Привет, Gagneet, я работаю в команде по производительности Windows: вот как мы используем эти термины.

baseline - это измерение известной конфигурации, которое используется в качестве эталона для последующих измерений. Для базовой линии мы характеризуем измеряемую вещь: например, давайте возьмем время холодной загрузки. Здесь у нас есть набор машин, которые хорошо охарактеризованы - это означает, что мы знаем, как они работают, что у нас есть хорошие драйверы для них, и что оборудование не сломано и не испорчено.

На этом оборудовании у нас есть несколько " base line " такие измерения, как XP-RTM, XP-SP2, Vista-RTM, Vista-SP1, Vista-SP2 и т. д. и т. д.

Для каждой из этих базовых линий у нас есть набор хорошо охарактеризованных и понятных измерений, включая все этапы загрузки, количество ЦП, использование диска и памяти, количество загрузок DLL и т. д. и т. д.

После того, как базовая линия установлена, мы можем провести другие измерения и сравнить их с базовой линией. Например, в настоящее время мы работаем над Window-7 . Для каждой сборки (ежедневно) мы запускаем набор тестов времени загрузки. Мы сравниваем все характеристики каждой сборки Win-7 с измерениями базовой линии. Это включает в себя все предыдущие сборки Win-7. Это позволяет нам увидеть, в чем заключаются различия, и помогает детализировать проблемные области. Вот еще некоторые подробности .

Answer 2

Интересные определения от СПР (Исследование производительности программного обеспечения)

Базовый и эталонный показатели — это схожие, но разные виды деятельности.

Образно говоря, базовая линия — это «линия на песке» для организации, посредством чего она измеряет важные характеристики производительности для использования в будущем.

Это не обязательно «хорошее» состояние, просто эталон.

Бенчмарк лучше всего понимать через первоначальное происхождение самого слова:

Ремесленники, выполняющие повторяющиеся задачи, такие как распиловка пиломатериалов одинаковой длины, часто делали на своих верстаках выемки, обозначающие размещение досок перед распиловкой.Буквально бенчмарк стал эталоном для сравнения и индикатором прошлых успехов.

По сути:

• базовый уровень составляет около идентификация значимого состояния, что означает, что ваш набор номеров соответствует общепризнанному статусу одобрения.
• эталон – это оценка родственник производительность приложения.

Answer 3

В научных исследованиях эталонный тест является своего рода тестом, а базовый уровень - своего рода результатом.

Давайте рассмотрим пример теста: мы могли бы взять набор из 5000 предложений на английском языке и использовать четырехъядерный компьютер Dell для лабораторной работы, чтобы перевести их на испанский язык с использованием различных алгоритмов. Поскольку мы сохранили данные и машинную константу, мы можем существенно сравнить время, затрачиваемое различными алгоритмами для выполнения задачи, а также их относительную точность (измеренную по человеческим переводам золотого стандарта).

Чтобы найти базовый уровень для этого теста, мы могли бы написать очень наивный алгоритм перевода, который просто находит наиболее общий перевод для каждого отдельного слова, без учета контекста. Измерение точности этого алгоритма в сравнении с нашими человеческими переводами дает нам представление о минимальной оценке - базовой линии - которую должны побить другие, и дает нам представление о том, какой уровень точности считается & Quot; хорошим & Quot ;.

На другом конце шкалы от базовой линии верхняя граница также является полезным критерием. В примере перевода мы могли бы найти верхнюю границу, измерив точность одного из наших человеческих переводов по отношению к другим. Это дает нам представление о том, как высоко можно попасть в наш & Quot; precision & Quot; Мера, прежде чем вы достигнете потолка человеческого несогласия. Мы ожидаем, что наши алгоритмы машинного перевода будут работать на уровне между базовой линией и верхней границей.

Answer 4

Поправь меня, если я ошибаюсь, но я верю " baseline " относится к известному исправному состоянию, в то время как " benchmark " относится к текущему состоянию. Вы должны сделать тест и сравнить его с базовой линией.