Леса решений

Лес решений — это общий термин для описания моделей, состоящих из нескольких деревьев решений. Прогнозирование леса решений — это совокупность прогнозов его деревьев решений. Реализация этого агрегирования зависит от алгоритма, используемого для обучения леса решений. Например, в случайном лесу с многоклассовой классификацией (тип леса решений) каждое дерево голосует за один класс, а предсказание случайного леса является наиболее представленным классом. В дереве двоичной классификации с градиентным усилением (GBT) (еще один тип леса решений) каждое дерево выводит логит (значение с плавающей запятой), а предсказание дерева с градиентным усилением представляет собой сумму этих значений, за которой следует функция активации (например, сигмовидная).

В следующих двух главах подробно описаны эти два алгоритма леса решений.