ما هو الفرق بين توليدي و التمييزية الخوارزمية ؟

Question

من فضلك ساعدني في فهم الفرق بين توليدي و التمييزية الخوارزمية ، مع الأخذ في الاعتبار أن أنا مجرد مبتدئ.

Answer 1

دعونا نقول لديك إدخال البيانات x وتريد أن يصنف البيانات في التسميات y.توليدي نموذج يتعلم المشترك التوزيع الاحتمالي p(x,y) و التمييزية نموذج يتعلم الشرطي التوزيع الاحتمالي p(y|x) التي يجب أن تقرأ كما "احتمال y نظرا x".

هنا مثال بسيط حقا.افترض أن لديك البيانات التالية في شكل (x,y):

(1,0), (1,0), (2,0), (2, 1)

p(x,y) هو

      y=0   y=1
     -----------
x=1 | 1/2   0
x=2 | 1/4   1/4

p(y|x) هو

      y=0   y=1
     -----------
x=1 | 1     0
x=2 | 1/2   1/2

إذا كنت تأخذ بضع دقائق إلى التحديق في هذين المصفوفات ، وسوف تفهم الفرق بين التوزيعات الاحتمالية.

توزيع p(y|x) هو التوزيع الطبيعي لتصنيف معين على سبيل المثال x في فئة y, الذي هو السبب في خوارزميات أن نموذج هذا مباشرة وتسمى التمييزية الخوارزميات.توليدي خوارزميات نموذج p(x,y), التي يمكن أن تتحول إلى p(y|x) من خلال تطبيق Bayes القاعدة ثم المستخدمة في التصنيف.ومع ذلك ، فإن توزيع p(x,y) يمكن أن تستخدم أيضا لأغراض أخرى.على سبيل المثال ، يمكنك استخدام p(x,y) إلى توليد على الأرجح (x,y) أزواج.

من الوصف أعلاه, كنت قد يكون التفكير أن توليدي النماذج هي أكثر عموما مفيدة وبالتالي أفضل, لكن الأمر ليس بهذه البساطة. هذه الورقة شعبية جدا المرجعية في موضوع التمييزية مقابلتوليدي من المصنفات ، لكنه ثقيل جدا الذهاب.عموما جوهر هو أن التمييزية نماذج يتفوق عموما توليدي نماذج في تصنيف المهام.

Answer 2

A توليدي الخوارزمية نماذج كم البيانات التي تم إنشاؤها من أجل تصنيف إشارة.فإنه يسأل السؤال:بناء على الجيل افتراضات الفئة التي من المرجح أن تولد هذه الإشارة ؟

A التمييزية الخوارزمية لا يهمني كيف ولدت البيانات ، فإنه ببساطة يصنف إشارة معينة.

Answer 3

تخيل مهمتك هي تصنيف خطابا إلى لغة.

يمكنك القيام بذلك إما عن طريق:

1. تعلم كل لغة ، ثم تصنيف ذلك باستخدام المعرفة التي اكتسبت مجرد

أو

2. تحديد الفرق في النماذج اللغوية دون أن تعلم اللغات ، ثم تصنيف الخطاب.

أول واحد هو توليدي النهج الثاني هو التمييزية النهج.

تحقق من هذه الإشارة لمزيد من التفاصيل: http://www.cedar.buffalo.edu/~srihari/CSE574/التمييزية-توليدي.pdf.

Answer 4

في الممارسة العملية ، فإن النماذج تستخدم على النحو التالي.

في التمييزية نماذج, إلى التنبؤ التسمية y من التدريب على سبيل المثال x, يجب تقييم:

إلا أن يختار ما هو الأكثر احتمالا الدرجة y معتبرا x.كما لو كنا في محاولة نموذج قرار الحدود بين الطبقات.هذا السلوك هو واضح جدا في الشبكات العصبية ، حيث احتساب الأوزان يمكن أن ينظر إليه باعتباره تشاركني على شكل منحنى عزل عناصر الفئة في الفضاء.

الآن باستخدام Bayes' القاعدة, دعونا محل في المعادلة .منذ كنت مهتما فقط في arg ماكس, يمكنك أن تمحو القاسم ، التي سوف تكون هي نفسها من أجل كل y.لذا كنت مع ترك

وهي المعادلة التي تستخدمها في توليدي نماذج.

بينما في الحالة الأولى كان الاحتمال الشرطي التوزيع p(y|x), التي على غرار الحدود بين الطبقات ، في الثانية لديك التوزيع الاحتمالي المشترك p(x, y) حيث p(x, y) = p(x | y) p(y) ، صراحة نماذج التوزيع الفعلي لكل فئة.

مع الاحتمال المشترك وظيفة التوزيع ، نظرا y, يمكنك حساب ("توليد") الخاصة به x.ولهذا السبب يطلق عليها "توليدي" نماذج.

Answer 5

هنا هو الجزء الأكثر أهمية من ملاحظات المحاضرة من CS299 (أندرو نج) ذات الصلة بالموضوع ، حقا يساعدني على فهم الفرق بين التمييزية و توليدي خوارزميات التعلم.

لنفترض أن لدينا فئتين من الحيوانات الفيل (y = 1) والكلب (y = 0).و x هي ميزة ناقلات الحيوانات.

نظرا مجموعة التدريب ، خوارزمية مثل الانحدار اللوجستي أو المتعرف خوارزمية (الأساس) يحاول العثور على خط مستقيم — هو قرار الحدود التي تفصل بين الفيلة والكلاب.ثم لتصنيف حيوان جديد إما الفيل أو كلب ، فإنه يتحقق على أي جانب من قرار الحدود يقع ، ويجعل التنبؤ وفقا لذلك.ونحن ندعو هذه التمييزية خوارزمية التعلم.

هنا مقاربة مختلفة.الأولى تبحث في الفيلة ، يمكننا أن نبني نموذج من ما الفيلة تبدو.ثم يبحث في الكلاب ، يمكننا أن نبني نموذج منفصل من الكلاب ما يبدو.وأخيرا تصنيف حيوان جديد ، ونحن يمكن أن تتطابق مع حيوان جديد ضد الفيل نموذج مباراة ضد الكلب نموذج لمعرفة ما إذا كان الحيوان الجديد تبدو أكثر مثل الفيلة أو أكثر مثل الكلاب شهدناه في مجموعة التدريب.ونحن ندعو هذه توليدي خوارزمية التعلم.

Answer 6

عموما ، هناك ممارسة في آلة التعلم المجتمع لا تعلم شيئا أن كنت لا تريد أن.على سبيل المثال النظر في تصنيف المشكلة حيث هدف واحد هو تعيين y تسميات معينة × المدخلات.إذا كان لنا أن استخدام نموذج توليدي

p(x,y)=p(y|x).p(x)

علينا أن نموذج p(x) الذي هو غير ذي صلة لهذه المهمة في متناول اليد.القيود العملية مثل البيانات تناثر سوف تجبرنا على نموذج p(x) مع بعض الضعفاء الاستقلال الافتراضات.ولذلك ، فإننا حدسي استخدام التمييزية نماذج التصنيف.

Answer 7

إضافة بالمعلومات نقطة أن يذهب جيدا مع الإجابة من قبل StompChicken أعلاه.

على الفرق الأساسي بين التمييزية نماذج و توليدي نماذج هو:

التمييزية نماذج تعلم (من الصعب أو لينة) الحدود بين الطبقات

توليدي نماذج نموذج التوزيع فردي فئات

تحرير:

توليدي نموذج واحد التي يمكن أن تولد البيانات.انها نماذج كل من الميزات و الطبقة (أيبيانات كاملة).

إذا كنا نموذج P(x,y):يمكنني استخدام هذا التوزيع الاحتمالي لتوليد نقاط البيانات - وبالتالي جميع خوارزميات النمذجة P(x,y) هي توليدي.

على سبيل المثال.من النماذج التوليدية

• من السذاجة Bayes نماذج P(c) و P(d|c) - حيث c هو الطبقة d هي ميزة ناقلات.

  أيضا ، P(c,d) = P(c) * P(d|c)

  وبالتالي من السذاجة Bayes في شكل نماذج ، P(c,d)

• Bayes صافي

• ماركوف شبكات

أ التمييزية النموذج هو واحد التي يمكن أن تستخدم إلا تميز/تصنيف نقاط البيانات.كنت بحاجة فقط إلى نموذج P(y|x) في مثل هذه الحالات (أياحتمال فئة معينة ميزة ناقلات).

على سبيل المثال.من التمييزية النماذج:

• الانحدار اللوجستي

• الشبكات العصبية

• الشرطي الحقول العشوائية

في عام ، توليدي نماذج تحتاج إلى نموذج أكثر بكثير من التمييزية نماذج وبالتالي في بعض الأحيان ليست فعالة.في الواقع, معظم (ليس متأكدا مما إذا كان كل شيء) غير خاضعة للرقابة خوارزميات التعلم مثل تجميع إلخ يمكن أن يسمى توليدي ، لأنها نموذج P(d) (و لا توجد فصول:P)

PS:جزء من الإجابة هو مأخوذ من المصدر

Answer 8

نماذج مختلفة تتلخص في الجدول أدناه:

Answer 9

بلدي اثنين سنتا:التمييزية النهج تسليط الضوء على الاختلافات توليدي النهج لا تركز على الاختلافات ؛ أنها محاولة بناء نموذج ممثل من الدرجة.هناك تداخل بين الاثنين.من الناحية المثالية كلا النهجين ينبغي أن تستخدم:واحد سوف يكون من المفيد إيجاد أوجه التشابه الأخرى سوف يكون من المفيد إيجاد ديس-أوجه التشابه.

Answer 10

توليدي نموذج الخوارزمية سوف تعلم تماما من بيانات التدريب و سوف توقع رد.

أ التمييزية خوارزمية العمل هو مجرد تصنيف أو تمييز بين 2 النتائج.

Answer 11

جميع الإجابات السابقة كبيرة ، أود أن المكونات في نقطة واحدة.

من توليدي خوارزمية نماذج يمكننا استخلاص أي التوزيع ؛ بينما نحن يمكن فقط الحصول على التوزيع الشرطي P(Y|X) من التمييزية خوارزمية النماذج(أو نستطيع أن نقول أنها هي فقط من المفيد التمييز Y التسمية) ، وهذا هو السبب في أنه يسمى التمييزية نموذج.التمييزية نموذج لا نفترض أن X هي مستقلة نظرا Y($X_i \المجرم X_ {أنا} | Y$) ومن ثم عادة ما تكون أكثر قوة على حساب هذا التوزيع المشروط.