ベイジアンネットワークがニューラルネットワークを上回るドメインはありますか?
-
16-10-2019 - |
質問
ニューラルネットワークは、コンピュータービジョンタスクで最高の結果を得ることができます(参照 mnist, ILSVRC, Kaggle Galaxy Challenge)。彼らは、コンピュータービジョンにおける他のすべてのアプローチよりも優れているようです。しかし、他のタスクもあります。
- Kaggle Molecular Activy Challenge
- 回帰: Kaggle Rainの予測, 、 2位
- 2番目をつかんで持ち上げます また 第三位 -EEG記録から手の動きを特定します
ASR(自動音声認識)と機械の翻訳についてはあまりよくわかりませんが、(再発)ニューラルネットワーク(開始)が他のアプローチを上回ることも聞いたと思います。
私は現在、ベイジアンネットワークについて学んでいますが、これらのモデルが通常適用される場合はどう思いますか。だから私の質問は次のとおりです。
最先端がベイジアンネットワークであるか、少なくとも非常に類似したモデルであるチャレンジ /(Kaggle)競争はありますか?
解決
ベイジアンアプローチがよく使用される領域の1つは、予測システムの解釈可能性が必要な場合です。医師にニューラルネットを与え、95%正確だと言いたくありません。むしろ、メソッドが行う仮定と、メソッドが使用する決定プロセスを説明したいと思います。
同様の領域は、以前の強いドメイン知識を持ち、システムでそれを使用したい場合です。
他のヒント
ベイジアンネットワークとニューラルネットワークは、互いに排他的ではありません。実際、ベイジアンネットワークは、「指示されたグラフィックモデル」の別の用語にすぎません。これらは、客観的な関数のニューラルネットワークを設計するのに非常に役立ちます。 Yann Lecunはこれをここで指摘しました: https://plus.google.com/+yannlecunphd/posts/gwe7jca3zoq.
一例。
変分自動エンコーダーとデリバティブは、フォーム$$ P(x)= int_z p(x | z)p(z)dz。 $およびその逆の近似:$ q(z | x) compx p(z | x)$。
すでに素晴らしい答え。
私が考えることができ、広く働いているドメインの1つは、 顧客分析 ドメイン。
カスタマーサポート、マーケティング、成長チームの両方に情報を提供し、警告するために、顧客の動きと動機を理解し、予測する必要があります。
ここで、ニューラルネットワークは、チャーンの予測などで本当に良い仕事をしています。しかし、私はベイジアンネットワークスタイルを見つけて好みます。ここにそれを好む理由があります。
- 顧客には常にパターンがあります。彼らは常に持っています 理由 行動する。そして、その理由は、私のチームが彼らのためにやったこと、または彼らが自分自身を学んだことです。したがって、ここにはすべてが以前にあります。実際、理由は顧客が下した決定の大部分を促進するため、非常に重要です。
- マーケティング/販売ファネルの顧客と成長チームによるすべての動きは、因果関係です。したがって、将来のリードを顧客に変換することに関しては、事前知識が不可欠です。
だから、の概念 前 顧客分析に関しては非常に重要です。これにより、ベイジアンネットワークの概念がこのドメインにとって非常に重要になります。
提案された学習:
結果を予測するのと同じくらい、結果を変えることを気にすることがあります。
十分なトレーニングデータを与えられたニューラルネットワークは、結果をより良く予測する傾向がありますが、結果を予測できるようになると、結果の入力機能を変更する効果を予測することをお勧めします。
実際の生活の例として、誰かが心臓発作を起こす可能性が高いことを知っていることは有用ですが、XXをやめた場合、リスクが30%減少することがはるかに大きな利点があることを人に伝えることができます。
同様に、顧客の維持のために、顧客があなたと一緒に買い物をするのをやめる理由を知ることは、あなたと一緒に買い物をやめる可能性が高い顧客を予測するのと同じくらい価値があります。
また、より少ない予測のよりシンプルなベイジアンネットワークも より多くのアクションが行われることにつながります 多くの場合、より「正しい」ベイジアンネットワークよりも優れている可能性があります。
ニューラルネットワークよりもベイジアンネットワークの最大の利点は、因果推論に使用できることです。このブランチは統計と機械学習にとって根本的に重要であり、ユダヤパールが勝ちました チューリング賞 この研究のために。
ベイジアンネットワークは、小さなデータ設定でニューラルネットワークを上回る可能性があります。以前の情報がネットワーク構造、プライアー、その他のハイパーパラメーターを介して適切に管理されている場合、ニューラルネットワークよりも優れている可能性があります。ニューラルネットワーク、特により多くの層を持つニューラルネットワークは、空腹のデータであることが非常によく知られています。定義上、それらを適切にトレーニングするためには、ほとんどのデータが必要です。
投稿しました Redditのこのリンク そして、多くのフィードバックを得ました。ここに回答を投稿した人もいれば、そうしなかった人もいました。この答えは、Redditの投稿を合計する必要があります。 (私はそれをコミュニティウィキにしたので、私はそれのためにポイントを得られないように)
- 自動エンコード変異ベイズ ベイズネットワークとニューラルネットワークの組み合わせです。紙 ベルヌーリを備えたベイジアン畳み込みニューラルネットワーク近似変分推論 同じ方向に行くようです。
- ドロップアウト:ニューラルネットワークが過剰に適合しないようにする簡単な方法 ベイジアンニューラルネットワークがドロップアウトアプローチを上回る例です(セクション6.4「ベイジアンニューラルネットワークとの比較」を参照)
- 確率的プログラム誘導による人間レベルの概念学習 「ニューラルネットワークを上回るワンショット分類を行うベイジアンネットネットワーク上の論文」です(TrashAcount12345によると、私は今までにそれをチェックしませんでした)。
- Yann Lecunは書いた Google+投稿 彼は、ニューラルネットワークと確率的グラフィカルモデルは直交概念ではないと主張しています。
ベイジアンネットワークは、ゲノムの解釈に適しています。たとえば、 この論文 ゲノム解釈のための計算方法の議論。
私はこれのために一度小さな例を挙げました。それから、ディストリビューションをキャプチャしたい場合はベイジアンネットワークが推奨されると思いますが、入力トレーニングセットでは配布をうまくカバーしていません。そのような場合、一般化されたニューラルネットワークでさえ、分布を再構築することはできません。
私は、ニューラルネットが他の学習者よりもうまくいくことに強く同意しません。実際、ニューラルネットは他の方法に比べてかなり悪いことをしています。また、偶然に頻繁に行われるパラメーターを選択するためのいくつかのアドバイスにもかかわらず、方法論はありません。また、神経ネットがどのように優れているかについてフォーラムでランダムに話すいくつかの男がいます。 Xgboostと比較するためにニューラルネットを試しましたか?それが自己心からのものになるまでニューラルネットを試しません。それまで幸せなニューラルネット:)