高性能ベンチマークの基本ガイドライン

Question

主に時間に関しては、高性能コンピューターで数値シミュレーションソフトウェアのいくつかの実装をベンチマークしますが、メモリの使用状況、プロセス間通信などの他のリソースも興味深い場合があります。

今のところ、ソフトウェアのベンチマーク方法（この分野）の一般的なガイドラインについての知識はありません。どちらの測定ノイズが予想されるか、またどれだけのテストが実行されるかも、私は知りません。もちろん、これらの問題はシステムに依存していますが、合理的であると考えられるいくつかの基準が存在すると確信しています。

そのような（入門）情報を提供できますか？

Answer 1

テストに時間がかからない場合は、繰り返し（たとえば10,000回）繰り返して、数秒かかります。

次に、テスト結果が再現可能かどうか（またはそれらが非常に多様であるかどうか）を確認するために、それを複数回（5回）します。

このアプローチには制限があります（たとえば、「温かい」キャッシュでテストしていますが）が、何もないよりはましです：特に同様のコードを比較するのに適しています。 （つまり、「前」と「後」テストを行うため）。

Answer 2

最良の方法は、実際に使用するジョブをテストすることです！

実際の問題のサブサンプルを実行できますか？数分しかかからず、さまざまなマシンでそれを計算するだけですか？