コースのまとめ

このコースで学んだ内容を簡単にまとめると次のとおりです。

• ディシジョン ツリーは、ツリー状に階層的に編成された条件のコレクションで構成されるモデルです。条件は次のカテゴリに分類されます。
  • 軸に沿った条件には、1 つの特徴量のみが含まれます。斜めの条件には複数の特徴が含まれます。
  • バイナリ条件には、2 つの結果が考えられます。バイナリ以外の条件には、2 つを超える結果が考えられます。
• ディシジョン ツリーをトレーニングするには、各ノードで最適な条件を検索する必要があります。分割ツール ルーティンは、情報量の増加やGini などの指標を使用して、最適な条件を決定します。
• ディシジョン フォレストは、複数のディシジョン ツリーで構成されるモードです。デシジョン フォレストの予測は、そのディシジョン ツリーの予測の集計です。
• ランダム フォレストは、各ディシジョン ツリーが特定のランダム ノイズでトレーニングされるディシジョン ツリーのアンサンブルです。
• Bagging は、ランダム フォレストの各ディシジョン ツリーを異なるサンプルのサブセットでトレーニングする手法です。
• ランダム フォレストには検証データセットは必要ありません。代わりに、ほとんどのランダム フォレストは、out-of-bag-evaluationと呼ばれる手法を使用してモデルの品質を評価します。
• 勾配ブースト（ディシジョン）ツリーは、入力ディシジョン ツリーからの反復調整によってトレーニングされるディシジョン フォレストの一種です。縮小と呼ばれる値は、勾配ブースト（ディシジョン）ツリーの学習率と、過剰適合する程度を制御します。

 

参照

• Greedy Function Approximation: A Gradient Boosting Machine, J. Friedman 氏。
• The Elements of Statistical Learning、Trevor Hastie。第 10 章。
• Generalized Boosted Models: A guide to the gbm package、G. Ridgeway