التعلم التعزيز و POMDP

Question

• أحاول استخدام NN متعدد الطبقات لتنفيذ وظيفة الاحتمالات في عملية ماركوف التي يمكن ملاحظتها جزئيًا ..
• اعتقدت أن المدخلات إلى NN ستكون: الحالة الحالية ، الإجراء المختار ، حالة النتيجة ؛ الإخراج هو احتمال في [0،1] (prob. أن إجراء إجراء محدد على الحالة الحالية سيؤدي إلى حالة النتائج)
• في التدريب ، أطعمت المدخلات المذكورة من قبل ، في NN ، وعلمتها الإخراج = 1.0 لكل حالة حدثت بالفعل.

المشكلة :
لجميع حالة الاختبار تقريبًا ، يكون احتمال الإخراج بالقرب من 0.95 .. لم يكن هناك إخراج تحت 0.9! حتى بالنسبة للنتائج المستحيلة تقريبًا ، فقد أعطى هذا الاحتمال العالي.

ملاحظة: أعتقد أن هذا لأنني علمت أن الحالات حدثت فقط ، ولكن ليس حالات غير مخصصة .. لكن لا يمكنني في كل خطوة في الحلقة أن تعلّمها الإخراج = 0.0 لكل إجراء غير محدّش!

أي اقتراحات كيف تتجاوز هذه المشكلة؟ أو قد تكون طريقة أخرى لاستخدام NN أو لتنفيذ وظيفة prob؟

شكرًا

Answer 1

المشكلة هي أن المبلغ على جميع الحالات التالية الممكنة يجب أن يساوي 1. إذا قمت ببناء شبكتك من هذا القبيل ، فهذا غير مضمون. يتبادر البديلان المحتملان إلى ذهني ، حيث أفترض حالات منفصلة.

1. عند إجراء تنبؤ ، قم بتشغيل الشبكة لكل حالة متابعة ممكنة. بعد ذلك ، تطبيع عن طريق الانقسام عبر مجموع جميع الاحتمالات.
2. استخدم مخرج واحد لكل حالة متابعة ممكنة. يمكنك بعد ذلك استخدام طبقة SoftMax (كما في التصنيف) وتفسير القيم التي تتراوح من 0 إلى 1 وتلخيص ما يصل إلى 1 كاحتمالات.

هذان الاثنان في الواقع يعادلون تقريبا من منظور رياضي.

في حالة المتغيرات المستمرة ، سيتعين عليك افتراض توزيعات (على سبيل المثال غوسي متعدد المتغيرات) واستخدام معلمات هذا التوزيع (على سبيل المثال و stdev التغاير) كمخرجات.

Answer 2

عند تركيب NN ، قد ترغب في وضع مجموعة واسعة من البيانات ، في التدريب ، هل هناك أي بيانات ترغب في الحصول عليها إلى أقرب إلى 0 احتمال؟ إذا لم يكن هناك أظن أنك قد تحصل على نتائج سيئة. كخطوة أولى ، أحاول اختيار بعض الأشياء المختلفة في مجموعة بيانات التدريب.

أيضا كيف تقوم بتدريب NN؟ هل حاولت استخدام طرق أخرى؟ ماذا عن وظائف التنشيط ، وربما تجربة استخدام بعض وظائف مختلفة.

مع الشباك العصبية ، أعتقد أن بعض التجربة والخطأ عند اختيار النموذج سيساعد. (آسف إذا كان كل هذا غير محدد بما فيه الكفاية.)