Деревья решений: проверьте свое понимание

На этой странице вам предлагается ответить на ряд упражнений с несколькими вариантами ответов по материалу, обсуждаемому в разделе «Схемы принятия решений в обучении».

Вопрос 1

Каковы последствия замены числовых характеристик их отрицательными значениями (например, изменение значения +8 на -8) точным числовым разделителем?

Будут изучены те же условия; будут переключаться только положительные/отрицательные дети.

Фантастика.

Будут изучены разные условия, но общая структура дерева решений останется прежней.

Если характеристики изменятся, то и условия изменятся.

Структура дерева решений будет совершенно иной.

Структура дерева решений на самом деле будет практически такой же. Хотя условия изменятся.

Вопрос 2

Какие два ответа лучше всего описывают эффект тестирования только половины (случайно выбранных) потенциальных пороговых значений в X?

Прирост информации будет выше или равен.

Прирост информации будет ниже или равен.

Отличная работа.

Окончательное дерево решений будет иметь худшую точность тестирования.

Окончательное дерево решений не будет иметь большей точности обучения.

Отличная работа.

Вопрос 3

Что произойдет, если кривая «прироста информации» и «порога» будет иметь несколько локальных максимумов?

Невозможно иметь несколько локальных максимумов.

Возможны несколько локальных максимумов.

Алгоритм выберет локальные максимумы с наименьшим пороговым значением.

Алгоритм выберет глобальный максимум.

Отличная работа.

Вопрос 4

Вычислите прирост информации от следующего разделения:

Узел	Количество положительных примеров	Количество отрицательных примеров
родительский узел	10	6
первый ребенок	8	2
второй ребенок	2	4

Нажмите на значок, чтобы увидеть ответ.

# Positive label distribution
p_parent = 10 / (10+6) # = 0.625
p_child_1 = 8 / (8+2) # = 0.8
p_child_2 = 2 / (2+4) # = 0.3333333

# Entropy
h_parent = -p_parent * log(p_parent) - (1-p_parent) * log(1-p_parent) # = 0.6615632
h_child_1 = ... # = 0.5004024
h_child_2 = ... # = 0.6365142

# Ratio of example in the child 1
s = (8+2)/(10+6)
f_final = s * h_child_1 + (1-s) * h_child_2 # = 0.5514443

information_gain = h_parent - f_final # = 0.1101189

---