グラデーションブーストマシン（GBM）で寸法サンプリングが使用されないのはなぜですか？

Question

GBMは、ランダムフォレストと同様に、データセットの異なるサンプルに各ツリーを構築するため、アンサンブルモデルの精神を使用すると、より高い精度を生み出します。しかし、私はGBMが、ランダムフォレストとの一般的な実践のようなツリーのすべての分割で寸法サンプリングで使用されているのを見ていません。

GBMを使用して次元サンプリングが精度を低下させることを示すテストはありますか？

Answer 1

Sklearn's GradientBoostingClassifier / GradientBoostingRegressor 持っている max_features パラメーターと xgboost もっている colsample_bylevel と colsample_bytree ツリー /分割ごとにサンプリングされる機能の数を制御するパラメーター。

Answer 2

ツリーの各ノードでサブサンプリング手法を読んだことがありません。私はそれらが存在しないかもしれないとは言いませんが、「ランダムフォレストの一般的な慣行であるように」という声明は奇妙に見えます。

それ以外は、ランダムな森林から各ツリーのサンプルをサブサンプリングまたはブートストラップします。 フリードマン、1999年. 。それらは、サブサンプリングでより良い結果をもたらし、より多くの詳細も 統計学習の要素、358ページ、10.12.2サブサンプリング.