Beschneidungsabzüge in Expertensystemen

Question

Wie würden Sie in einem Regelsystem oder einem anderen Argumentationssystem, das Fakten über Vorwärtsverkettungs-Inferenzregeln ableitet, „unnötige“ Zweige beschneiden?Ich bin mir nicht sicher, wie die formale Terminologie lautet, aber ich versuche nur zu verstehen, wie Menschen in der Lage sind, ihren Gedankengang einzuschränken, wenn sie über Probleme nachdenken, während alle semantischen Denker, die ich gesehen habe, dazu offenbar nicht in der Lage sind.

Zum Beispiel in John McCarthys Artikel Ein Beispiel für das Verständnis natürlicher Sprache und die damit verbundenen KI-Probleme, beschreibt er mögliche Probleme, wenn man ein Programm dazu bringt, Fragen zu einem Nachrichtenartikel in der New York Times intelligent zu beantworten.In Abschnitt 4, „Die Notwendigkeit nichtmonotonen Denkens“, erörtert er die Verwendung von Occams Razer, um die Einbeziehung von Fakten in die Argumentation über die Geschichte einzuschränken.Die Beispielgeschichte, die er verwendet, handelt von Räubern, die einem Möbelhausbesitzer zum Opfer fallen.

Wenn ein Programm gebeten würde, eine „minimale Vervollständigung“ der Geschichte in der Prädikatenrechnung zu bilden, müsste es möglicherweise Fakten einbeziehen, die in der ursprünglichen Geschichte nicht direkt erwähnt werden.Es bräuchte jedoch auch eine Möglichkeit zu wissen, wann die Ableitungskette begrenzt werden muss, um keine irrelevanten Details einzubeziehen.Beispielsweise möchte es möglicherweise die genaue Anzahl der an dem Fall beteiligten Polizisten angeben, was im Artikel nicht erwähnt wird, aber nicht die Tatsache, dass jeder Polizist eine Mutter hat.

Answer 1

Gute Frage.

Aufgrund Ihrer Frage denke ich, dass das, was Sie als „Beschneiden“ bezeichnen, ein durchgeführter Modellbildungsschritt ist ex ante– dh um die Eingaben zu begrenzen, die dem Algorithmus zum Erstellen des Modells zur Verfügung stehen.Der Begriff „Beschneiden“, wenn er im maschinellen Lernen verwendet wird, bezieht sich auf etwas anderes – ein ex post Schritt, nach Modellkonstruktion und die auf dem Modell selbst operiert und nicht abhängig von den verfügbaren Eingängen.(Es könnte im ML-Bereich eine zweite Bedeutung für den Begriff „Beschneiden“ geben, aber ich bin mir dessen nicht bewusst.) Mit anderen Worten: Beschneiden ist in der Tat buchstäblich eine Technik, um „seine Schlussfolgerungskette einzuschränken“. Du sagst es, aber es tut es ex post, durch Herausschneiden von Komponenten eines vollständigen (Arbeits-)Modells und nicht durch Beschränkung der zur Erstellung dieses Modells verwendeten Eingaben.

Andererseits ist die Isolierung oder Beschränkung der für die Modellkonstruktion verfügbaren Eingaben – woran Sie meiner Meinung nach gedacht haben – tatsächlich ein zentrales Thema des maschinellen Lernens;Dies ist eindeutig ein Faktor, der für die überlegene Leistung vieler neuerer ML-Algorithmen verantwortlich ist – zum Beispiel von Support Vector Machines (die Erkenntnis, die SVM zugrunde liegt, ist die Konstruktion der Hyperebene mit maximalem Spielraum aus nur einer kleinen Teilmenge der Daten, d. h. die „Unterstützungsvektoren“) und Multi-Adaptive Regression Splines (eine Regressionstechnik, bei der nicht versucht wird, die Daten durch „Zeichnen einer einzelnen kontinuierlichen Kurve durch sie hindurch“ anzupassen, sondern stattdessen diskrete Abschnitte der Daten nacheinander angepasst werden Erstens wird für jeden Teil eine begrenzte lineare Gleichung verwendet, d. h. die „Splines“. Daher ist der Prädikatsschritt der optimalen Partitionierung der Daten offensichtlich der Kern dieses Algorithmus.

Welches Problem wird durch Beschneiden gelöst?

Zumindest bei den spezifischen ML-Algorithmen, die ich tatsächlich codiert und verwendet habe – Entscheidungsbäume, MARS und neuronale Netze – wird die Bereinigung zunächst durchgeführt Overfit-Modell (ein Modell, das so genau zu den Trainingsdaten passt, dass es nicht verallgemeinern (neue Instanzen genau vorhersagen) kann).In jedem Fall umfasst das Beschneiden das Entfernen von Randknoten (DT, NN) oder Termen in der Regressionsgleichung (MARS) nacheinander.

Zweite, Warum ist ein Rückschnitt notwendig/wünschenswert?

Ist es nicht besser, die Konvergenz-/Aufteilungskriterien genau festzulegen?Das wird nicht immer helfen.Der Schnitt erfolgt von „von unten nach oben“;Das Modell wird von oben nach unten erstellt, sodass durch die Optimierung des Modells (um den gleichen Nutzen wie das Beschneiden zu erzielen) nicht nur ein oder mehrere Entscheidungsknoten, sondern auch die untergeordneten Knoten entfernt werden (wie das Trimmen eines Baums näher am Stamm).Das Eliminieren eines Randknotens könnte also auch dazu führen, dass ein oder mehrere starke Knoten, die diesem Randknoten untergeordnet sind, eliminiert werden – der Modellierer würde das jedoch nie erfahren, da seine Optimierung die weitere Knotenerstellung an diesem Randknoten eliminiert.Das Beschneiden funktioniert aus der anderen Richtung – von den untergeordneten (untersten) untergeordneten Knoten aufwärts in Richtung des Wurzelknotens.