不均衡（1:10）のデータセットで60％に近いカッパ

datascience.stackexchange https://datascience.stackexchange.com/questions/1108

  •  16-10-2019
  •  | 
  •  

質問

述べたように 前, 、分類の問題と不均衡なデータセットがあります。多数派クラスには、すべてのサンプルの88％が含まれています。一般化されたブースト回帰モデルを使用してトレーニングしました gbm() から gbm パッケージイン R 次の出力を取得します。

  interaction.depth  n.trees  Accuracy  Kappa  Accuracy SD  Kappa SD
  1                  50       0.906     0.523  0.00978      0.0512  
  1                  100      0.91      0.561  0.0108       0.0517  
  1                  150      0.91      0.572  0.0104       0.0492  
  2                  50       0.908     0.569  0.0106       0.0484  
  2                  100      0.91      0.582  0.00965      0.0443  
  2                  150      0.91      0.584  0.00976      0.0437  
  3                  50       0.909     0.578  0.00996      0.0469  
  3                  100      0.91      0.583  0.00975      0.0447  
  3                  150      0.911     0.586  0.00962      0.0443

90％の精度を見ると、モデルがすべてのサンプルを多数派クラスとしてラベル付けしたと仮定します。それは明らかです。そして、透明ではないもの：カッパの計算方法。

  • このカッパの価値（60％近く）は本当に何を意味しますか？モデルが偶然に分類していないと言うだけで十分ですか？
  • 何をしますか Accuracy SD と Kappa SD 平均？
役に立ちましたか？

解決

カッパは、評価者間契約のコーエンのカッパスコアです。これは、特にテキスト/言語学を扱う場合、機械学習アルゴリズムとヒトの注釈因子のパフォーマンスを評価するための一般的に使用されるメトリックです。

それが行うことは、（人間またはアルゴリズムの）アノテーターの出力とグラウンドトゥルースラベルの間の一致のレベルを、ランダムなチャンスを通じて発生する一致のレベルと比較することです。カッパを計算し、それを使用してこのstats.stackexchange.comの分類子を評価する方法の非常に良い概要があります。 ここ, 、そしてカッパのより詳細な説明とそれを解釈する方法 この紙, 、viera＆Garrett（2005）による「観察者間協定の理解：カッパ統計」と題されています。

特にあなたのような不均衡なデータセットでカッパを使用することの利点は、クラス間の90〜10％の不均衡により、すべてのデータポイントにより一般的に発生するラベルをラベル付けするだけで90％の精度を達成できることです。クラス。 Kappa統計は、分類器がそのベースラインレベルのパフォーマンスを上回るかを上回るかを説明しています。

Kappaは-1から1の範囲で、0は評価者間の一致がないことを示し、1は完全な一致を示し、系統的な不一致を示す負の数は示されます。解釈はややarbitrary意的（そして非常にタスク依存）ですが、Landis＆Koch（1977）は、一般的な経験則として機能する可能性のある次の解釈システムを定義しました。

Kappa Agreement
< 0 Less than chance agreement
0.01–0.20 Slight agreement
0.21– 0.40 Fair agreement
0.41–0.60 Moderate agreement
0.61–0.80 Substantial agreement
0.81–0.99 Almost perfect agreement

これは、アルゴリズムが適度にパフォーマンスを発揮していることを示しています。精度SDおよびKappa SDは、精度とKappaスコアのそれぞれの標準偏差です。これが役立つことを願っています！

他のヒント

これはいくつかの答えを提供するかもしれません： http://cran.r-project.org/web/packages/caret/vignettes/caret.pdf

また、Max Kuhnの「Applied Predictive Modeling」ブックをチェックすることもできます。彼は、この本の中で、カッパの統計やそれの使用方法を含む、この本の中で長々と話していることについて語っています。これはあなたにとって助けになるかもしれません。

ライセンス： CC-BY-SA と 帰属
所属していません datascience.stackexchange
scroll top