Y at-il domaine dans lequel les réseaux bayésien surperformer les réseaux de neurones?

Question

Les réseaux de neurones obtiennent des résultats supérieurs dans les tâches Vision par ordinateur (voir MNIST , ILSVRC , Kaggle Galaxy Défi ). Ils semblent surpasser toute autre approche de vision par ordinateur. Mais il y a aussi d'autres tâches:

• Kaggle Défi activité moléculaire
• régression: Kaggle prédiction pluie , également 2ème place
• Grasp et 2ème Ascenseur aussi troisième place - Identifier les mouvements de la main à partir d'enregistrements EEG

Je ne suis pas trop sûr ASR (reconnaissance vocale automatique) et la traduction automatique, mais je pense que je l'ai aussi entendu dire que (récurrentes) des réseaux de neurones (commencer à) surperformer d'autres approches.

Je suis en train d'apprendre sur les réseaux bayésienne et je me demande dans quels cas ces modèles sont généralement appliqués. Donc, ma question est:

Y at-il défi / (Kaggle) la concurrence, où l'état de l'art sont bayésienne Networks ou tout au moins des modèles très similaires?

(Note: Je l'ai aussi vu arbres de décision , 2 , 3 , 4 , 5 , 6 , 7 gagner dans plusieurs Kaggle défis récents)

Answer 1

L'un des domaines où les approches bayésienne sont souvent utilisés, est l'endroit où l'on a besoin interprétabilité du système de prédiction. Vous ne voulez pas donner aux médecins un filet et dire que ce Neural est 95% précise. Vous voulez plutôt d'expliquer les hypothèses votre méthode fait, ainsi que le processus de décision, les utilisations de la méthode.

zone similaire est quand vous avez une connaissance de domaine avant fort et souhaitez l'utiliser dans le système.

Answer 2

Les réseaux bayésiens et les réseaux de neurones ne sont pas exclusifs les uns des autres. En fait, les réseaux bayésiens sont juste un autre terme pour « modèle graphique dirigé ». Ils peuvent être très utiles dans la conception des réseaux de fonctions objectives. Yann LeCun a souligné ce ici: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq.

Un exemple.

Le codeur auto variationnel et dérivés sont dirigés modèles graphiques de la forme $$ p (x) = \ int_z p (x | z). P (z) dz $$ Un réseau de neurones est utilisé pour mise en oeuvre $ p (x | z) $ et une approximation de son inverse:. $ q (z | x) \ environ p (z | x) $

Answer 3

réponses excellentes déjà.

Un domaine que je peux penser, et travaille intensivement en est analyse client domaine.

Je dois comprendre et prédire les mouvements et les motivations des clients afin d'informer et de mettre en garde à la fois le soutien à la clientèle, la commercialisation et aussi les équipes de croissance.

Voici donc, les réseaux de neurones font un très bon travail en matière de prévision de désabonnement, etc. Mais, j'ai trouvé et préfèrent le style des réseaux bayésiens, et voici les raisons de préférer:

1. Les clients ont toujours un modèle. Ils ont toujours une raison pour agir. Et cette raison serait quelque chose que mon équipe a fait pour eux, ou ils ont eux-mêmes appris. , Tout a donc un avant ici, et en fait, que la raison est très importante car elle alimente la plupart de la décision prise par le client.
2. Chaque mouvement par le client et les équipes de croissance dans l'entonnoir marketing / vente est de cause à effet. Ainsi, la connaissance préalable est essentiel en matière de conversion d'un prospect en client potentiel.

Ainsi, le concept de avant est très important en ce qui concerne l'analyse des clients, ce qui rend le concept de réseaux bayésiens très importants à ce domaine.

---

Formation proposée:

bayésienne Méthodes pour les réseaux de neurones

réseaux bayésiens dans les affaires d'analyse

Answer 4

Parfois, vous soucions autant de changer le résultat que prédire les résultats.

Un réseau de neurones compte tenu des données de formation suffisamment auront tendance à prédire le résultat meilleur, mais une fois que vous pouvez prédire l'issue, vous pouvez alors vouloir prédire l'effet de faire des changements dans les caractéristiques d'entrée sur les résultats.

exemple un de la vie réelle, sachant que quelqu'un est susceptible d'avoir une crise cardiaque est utile, mais être en mesure de dire à la personne que s'ils se sont arrêtés à faire XX, le risque serait de réduire de 30% est de beaucoup d'avantages d'une plus grande.

De même pour la fidélisation des clients, savoir pourquoi les clients GUICHET avec vous, vaut autant que prédire les clients qui sont susceptibles de faire du shopping avec vous arrêter.

Aussi un simple réseau bayésien qui prédit moins bien, mais conduit à plus d'action prises peut souvent être mieux qu'un plus « correct » réseau bayésien.

Le plus grand avantage des réseaux bayésiens sur les réseaux de neurones est qu'ils peuvent être utilisés pour l'inférence causale. Cette branche est d'une importance fondamentale pour les statistiques et l'apprentissage de la machine et Judea Pearl a gagné le prix Turing pour cette recherche.

Answer 5

Les réseaux bayésiens pourrait surperformer les réseaux de neurones dans un petit paramètre de données. Si l'information préalable est correctement gérée par la structure du réseau, prieurs et autres hyperparam'etres, il pourrait avoir un avantage sur les réseaux de neurones. Neural Networks, en particulier ceux avec plus de couches, sont très bien connus pour être des données qui ont faim. Presque par définition beaucoup de données est nécessaire pour les former correctement.

Answer 6

Je l'ai posté ce lien sur Reddit et a obtenu un beaucoup de commentaires. Certains ont posté leurs réponses ici, d'autres ne l'ont pas. Cette réponse devrait résumer le poste reddit vers le haut. (Je l'ai fait wiki de la communauté, afin que je ne reçois pas de points pour cela)

• Auto-Encoding Variational Bayes est une combinaison d'un réseau Bayes et un réseau de neurones. Le document bayésienne convolutifs Réseaux de neurones avec Bernoulli approximative Variational Inference semble aller dans le même sens.
• Dropout: une façon simple de prévenir les réseaux de neurones de Surapprentissage est un exemple où les réseaux neuronaux bayésiens surperformer leur approche de décrochage scolaire (voir la section 6.4 « Comparaison avec les réseaux de neurones bayésien »)
• apprentissage concept niveau humain par induction du programme probabiliste est un document « sur un réseau bayésien net qui fait classification one-shot de cette façon a surperformé les réseaux de neurones » (selon trashacount12345 - Je n'ai pas vérifié que maintenant).
• Yann LeCun a écrit un post Google+ dans lequel il soutient que les réseaux de neurones et probabilisitc modèles graphiques ne sont pas des concepts orthogonaux.

Answer 7

Les réseaux bayésiens sont préférés pour l'interprétation du génome. Voir, par exemple, cette thèse discuter des méthodes de calcul pour génome interprétation.

Answer 8

Je l'ai fait un petit exemple pour cette fois. De cela, je pense que les réseaux bayésiens sont préférés si vous souhaitez capturer une distribution, mais votre jeu de formation d'entrée ne couvre pas la distribution bien. Dans de tels cas, même un réseau de neurones qui généralise bien ne serait pas en mesure de reconstruire la distribution.

Answer 9

Je suis fermement ne pense pas que les réseaux de neurones font bien alors d'autres apprenants. En fait les réseaux de neurones font assez mal par rapport à d'autres méthodes. Il y a aussi pas de méthode malgré quelques conseils sur les paramètres qui choisissent cette beeing fait très souvent par hasard. Il y a des mecs qui parlent également au hasard sur les forums sur la façon dont les réseaux de neurones sont si bons, pas parce qu'ils ont des preuves en ce qui concerne, mais parce qu'ils sont atracted de la fantaisie et le mot buzz ,, neurale « ». Ils sont également très instable, avez-vous tryied un réseau de neurones pour comparer avec xgboost Je ne tenterai pas un filet de neurones jusqu'à ce qu'il sera auto concious .Donc jusque-là heureux neting neurale:?)