Un bosque de decisión es un término genérico para describir modelos hechos de varios árboles de decisión. La predicción de un bosque de decisión es la agregación de las predicciones de sus árboles de decisión. La implementación de esta agregación depende del algoritmo usado para entrenar el bosque de decisión. Por ejemplo, en un bosque aleatorio de clasificación de clases múltiples (un tipo de bosque de decisión), cada árbol vota por una sola clase, y la predicción de bosque aleatorio es la clase más representada. En un árbol de potenciación de gradiente binario (GBT) (otro tipo de bosque de decisión), cada árbol genera un logit (un valor de punto flotante), y la predicción de árbol con boosting de gradiente es la suma de esos valores seguida de una función de activación (p.ej., sigmoide).
En los dos siguientes capítulos, se detallan esos dos algoritmos de bosques de decisión.