ディープラーニングGPUをベンチマークするとき、1秒あたりの画像はどういう意味ですか？

Question

私はいくつかのNvidia GPUのパフォーマンスをレビューしてきましたが、通常、結果は処理できる「秒あたりの画像」の観点から提示されていることがわかります。通常、実験は、Alex NetやGoogleNetなどの古典的なネットワークアーキテクチャで実行されます。

15000年あたりの特定の数の画像が、15000枚の画像を反復によって処理できるのか、その量の画像でネットワークを完全に学習できることを意味するのか疑問に思っています。 15000枚の画像があり、特定のGPUがそのネットワークをどの速く列車するかを計算したい場合、特定の構成の特定の値（例えば、反復数など）を掛ける必要があると思います。これが真実でない場合、このテストに使用されているデフォルトの構成はありますか？

ここにベンチマークの例があります P40 GPUの深い学習推論 (鏡)

Answer 1

15000年あたりの特定の数の画像が、15000枚の画像を反復によって処理できるのか、その量の画像でネットワークを完全に学習できることを意味するのか疑問に思っています。

通常、彼らはあなたの質問に記載されているページから、前方（別名推論、別名テスト）の時間について話しているかどうかをどこかで指定します。

からの別の例 https://github.com/soumith/convnet-benchmarks (鏡):

Answer 2

15000年あたりの特定の数の画像が、15000枚の画像を反復によって処理できるのか、その量の画像でネットワークを完全に学習できることを意味するのか疑問に思っています。 15000枚の画像があり、特定のGPUがそのネットワークをどの速く列車するかを計算したい場合、特定の構成の特定の値（例えば、反復数など）を掛ける必要があると思います。万一に備えて 本当じゃない, 、 は デフォルトの構成があります このテストに使用されていますか？

あなたが参照するレポート」P40 GPUの深い学習推論「論文で説明されている画像のセットを使用してください：」Imagenet大規模な視覚認識チャレンジ「、データセットは次のとおりです。」Imagenet大規模な視覚認識チャレンジ（ILSVRC）".

上記の論文の図7と、関連するテキストは次のとおりです。

ディープラーニングの成功の優れた例は、Imagenetチャレンジで説明できます $[14]$. 。この課題は、いくつかの異なるコンポーネントを含むコンテストです。コンポーネントの1つは、図6に示すように、アルゴリズムに画像が与えられ、画像にあるものを識別する必要がある画像分類タスクです。 トレーニングセットは120万枚の画像で構成されています, 、それぞれに、画像に含まれる1000のオブジェクトカテゴリのいずれかがラベル付けされています。評価段階では、アルゴリズムは、以前に見たことのない画像のテストセット内のオブジェクトを正確に識別する必要があります。

図7は、長年にわたるImagenetコンテストでの最高の参加者のパフォーマンスを示しています。アルゴリズムの精度が最初に25％以上のエラー率があったことがわかります。 2012年、トロント大学のグループは、AlexNetという名前の高い計算機能と深いニューラルネットワークアプローチのためにグラフィックスプロセッシングユニット（GPU）を使用し、エラー率を約10％削除しました。 $[3]$.

彼らの成果は、着実な改善の流れをもたらした深い学習スタイルのアルゴリズムの溢れを促しました。

Imagenetチャレンジのディープラーニングアプローチへのトレンドと併せて、GPUを使用して参加者の数がそれに対応する増加がありました。 2012年から、ほぼすべての参加者（110）がそれらを使用していたときに、GPUを2014年から2014年に使用したのは4人だけでした。これは、従来のコンピュータービジョンアプローチから競争のための深い学習ベースのアプローチへのほぼ完全な切り替えを反映しています。

2015年、イメージネットの勝利エントリ、Resnet $[15]$, 、人間レベルの精度を超えて、トップ5エラー率4を5％未満にしました。それ以来、エラー率は3％を下回り、オブジェクトの検出やローカリゼーションなど、競合のより挑戦的なコンポーネントに焦点が当てられています。これらの成功は、DNNが適用されている幅広いアプリケーションの貢献要因であることは明らかです。

$[3]$ A. Krizhevsky、I。Sutskever、およびGe Hinton、「深い畳み込みニューラルネットワークによるイメージェネット分類」、NIPS、2012年。

$[14]$ O. Russakovsky、J。Deng、H。Su、J。Krause、S。Satheesh、S。MA、Z。Huang、A。Karpathy、A。Khosla、M。Bernstein、AC Berg、およびL. Fei-Fei、 「Imagenet大規模な視覚認識チャレンジ」、International Journal of Computer Vision（IJCV）、Vol。 115、いいえ。 3、pp。211–252、2015。

$[15]$ K. He、X。Zhang、S。Ren、およびJ. Sun、「画像認識のための深い残留学習」、CVPR、2016年。

たとえば、毎年別の課題があります ILSVRC 2017 必須（部分リスト）：

主な課題

1. オブジェクトのローカリゼーション
   分類およびローカリゼーションタスクのデータは、ILSVRC 2012から変更されません。検証データとテストデータは、Flickrおよびその他の検索エンジンから収集された150,000枚の写真で構成され、1000のオブジェクトカテゴリの存在または不在の手でラベル付けされています。 1000オブジェクトカテゴリには、Imagenetの内部ノードとリーフノードの両方が含まれていますが、互いに重複しないでください。ラベルを備えた50,000の画像のランダムサブセットは、開発キットに含まれる検証データとしてリリースされ、1000カテゴリのリストとともにリリースされます。残りの画像は評価に使用され、テスト時にラベルなしでリリースされます。 1000のカテゴリと120万の画像を含むImagenetのサブセットであるトレーニングデータは、簡単にダウンロードできるようにパッケージ化されます。この競争の検証データとテストデータは、Imagenetトレーニングデータに含まれていません。
   ...
   オブジェクトローカリゼーションチャレンジの勝者は、すべてのテスト画像で最小平均エラーを達成するチームになります。

2. オブジェクトの検出
   オブジェクト検出タスクのトレーニングと検証データは、ILSVRC 2014から変更されません。テストデータは、昨年の競争に基づいて新しい画像で部分的に更新されます（ILSVRC 2016）。このタスクには、テストデータに完全に注釈が付けられている200の基本レベルのカテゴリがあります。つまり、画像内のすべてのカテゴリの境界ボックスがラベル付けされています。カテゴリは、オブジェクトスケール、画像の乱雑さのレベル、平均オブジェクトインスタンスの数などのさまざまな要因を考慮して慎重に選択されました。一部のテスト画像には、200のカテゴリのいずれも含まれません。
   ...
   Detection Challengeの勝者は、ほとんどのオブジェクトカテゴリで1位の精度を達成するチームです。

3. ビデオからのオブジェクトの検出
   これは、オブジェクト検出タスクとスタイルが似ています。今年の競争の検証とテストデータを部分的に更新します。このタスクには、オブジェクト検出タスクの200の基本レベルカテゴリのサブセットである30の基本レベルカテゴリがあります。このカテゴリは、動きの種類、ビデオの乱雑さのレベル、オブジェクトの平均インスタンスの平均数など、さまざまな要因を考慮して慎重に選択されました。すべてのクラスは、各クリップに対して完全にラベル付けされています。
   ...
   Video Challengeからの検出の勝者は、ほとんどのオブジェクトカテゴリで最高の精度を達成するチームになります。

完全な情報については、上記のリンクを参照してください。

要するに、ベンチマークの結果は、15,000を取ることができるという意味ではありません あなた自身の 画像を1秒で分類して、15k/秒の評価を達成します。

これは、各参加者に（最近）1.2mの画像のトレーニングセットとAが与えられたコンテストがあったことを意味します。 質問 150,000枚の画像で構成されており、勝者は質問の画像を最も速く正しく識別します。

同じハードウェアと任意の画像セット、同様の複雑さのセットを使用すると、の分類率が得られることを期待する必要があります。 約 ただし、特定のアルゴリズムの多くは評価されています。理論的には、同じハードウェアと画像を使用してテストを繰り返すと、コンテストで得られたものに非常に近い結果が生成されます。

質問に記載されている「15,000画像」が分類される速度は、テストセットと比較して複雑さによって異なります。コンテストの受賞者の中には、メソッドに関する完全な情報を提供し、一部の出場者は独自の情報を非表示にします。オープンメソッドを選択してハードウェアに実装できます。おそらく、最速で公開されている方法を選択する必要があります。