lignes directrices de base pour l'analyse comparative de haute performance

Question

Je vais référence plusieurs implémentations d'un logiciel de simulation numérique sur un ordinateur de haute performance, notamment en ce qui concerne le temps -. Mais d'autres ressources telles que l'utilisation de la mémoire, la communication inter-processus, etc. pourrait être intéressant aussi bien

Pour l'instant, je ne connais pas de directives générales comment le logiciel de référence (dans ce domaine). Pas plus que je sais, comment le bruit beaucoup de mesure est raisonnablement attendre, ni comment les tests bien un exerce habituellement. Bien que ces questions dépendent du système, bien sûr, je suis sûr qu'il existe des normes considérées comme raisonnables.

Pouvez-vous fournir des informations telles (introduction)?

Answer 1

Si un test ne prend pas beaucoup de temps, alors je le répète (par exemple 10 000 fois) pour en faire prendre quelques secondes.

Je ne puis que plusieurs fois (par exemple 5 fois) pour voir si les résultats des tests sont reproductibles (ou si elles sont très variables).

Il y a des limites à cette approche (par exemple, il teste avec un cache de « chaud »), mais il vaut mieux que rien: et surtout bon à comparer un code similaire, par exemple pour voir si oui ou non un tweak de performance à un code existant a en fait d'améliorer les performances (par exemple pour faire « avant » tester et « après »).

Answer 2

La meilleure façon est de tester le travail que vous allez réellement utiliser pour!

Pouvez-vous exécuter un sous-échantillon du problème réel - celui qui ne prendra que quelques minutes, et tout simplement le temps que sur différentes machines

?