Warum wird die Abmessung nicht mit Gradienten -Boosting -Maschinen (GBM) verwendet?

Question

GBMs bauen wie zufällige Wälder jeden Baum auf einer anderen Stichprobe des Datensatzes und erzeugen daher durch den Geist der Ensemble -Modelle höhere Genauigkeiten. Ich habe jedoch nicht gesehen, dass GBM bei jeder Spaltung des Baumes mit der Abmessung verwendet wird, wie es bei zufälligen Wäldern üblich ist.

Gibt es einige Tests, die zeigen, dass eine dimensionale Probenahme mit GBM seine Genauigkeit verringern würde, wodurch dies entweder in Literaturform oder in praktischer Erfahrung vermieden wird?

Answer 1

Sklearns GradientBoostingClassifier / GradientboostingRegressor haben eine max_features Parameter und Xgboost hat colSample_Bylevel und colSample_Bytree Parameter, die steuern, wie viele Funktionen für jeden Baum / Split abgetastet werden.

Answer 2

Ich habe noch nie Teilabtastungstechniken auf jedem Knoten des Baumes gelesen (oder ausprobiert). Ich sage nicht, dass sie vielleicht nicht existieren, aber es sieht seltsam aus, dass die Aussage "wie eine übliche Praxis mit zufälligen Wäldern ist".

Abgesehen davon ergibt die Unterabtastung oder Bootstrapping der Probe für jeden Baum aus zufälligen Wäldern eine stochastische Gradientensteigerung Friedman, 1999. Sie liefern bessere Ergebnisse mit Teilabtastung als ohne und mehr Details werden auch in angegeben Elemente des statistischen Lernens, Seite 358, 10.12.2 Teilabtastung.