اذا كنت تمتلك مسبق معرفة البيئة ، ولكن القدرة غير الكاملة على الشعور بموقعك في البيئة (وربما الإجراءات غير الكاملة) ، فإن ما تصفه قد يكون عملية قرار Markov يمكن ملاحظتها جزئيًا (POMDP.) يستشعر مستشعر الأربعة زرًا جيدًا في هذه الفكرة.
إذا لم يكن لديك حتى معرفة مسبقة بالبيئة ، فأنت بحاجة إلى زيادة فكرة POMDP بعناصر الاستكشاف أو التعلم الآلي.
لاحظ أن POMDPs موجهة نحو السيناريوهات ذات "المكافآت" ، وأنه على الرغم من أن POMDPs مفهومة جيدًا ، إلا أن الحلول الفعالة لا تزال موضوعًا للبحث. كما هو ML/POMDP الهجينة.