У попередньому розділі ми оцінювали справедливість нашої моделі відбору кандидатів, використовуючи показник демографічної рівності й порівнюючи загальні коефіцієнти прийняття для обох груп населення.
Як варіант, можна порівняти коефіцієнти прийняття лише для кваліфікованих кандидатів із групи більшості й групи меншості. Якщо коефіцієнти прийняття для кваліфікованих студентів з обох груп рівні, модель свідчить про рівність можливостей, тобто студенти з бажаною міткою ("кваліфікований для відбору") мають рівні шанси бути прийнятими, хоч до якої групи населення вони належать.
Повернімося до пулу кандидатів із попереднього розділу.
| Група більшості | Група меншості | |
|---|---|---|
| Кваліфіковані | 35 | 15 |
| Некваліфіковані | 45 | 5 |
Припустімо, що модель відбору кандидатів приймає 14 кандидатів із групи більшості й 6 із групи меншості. Рішення моделі відповідають принципу рівності можливостей, оскільки коефіцієнт прийняття кваліфікованих кандидатів із групи як більшості, так і меншості становить 40%.
У таблиці, наведеній нижче, указано кількість відхилених і прийнятих кандидатів із рисунка 4.
| Група більшості | Група меншості | |||
|---|---|---|---|---|
| Прийняті | Відхилені | Прийняті | Відхилені | |
| Кваліфіковані | 14 | 21 | 6 | 9 |
| Некваліфіковані | 0 | 45 | 0 | 5 |
Переваги й недоліки
Ключова перевага принципу рівності можливостей полягає в тому, що це дозволяє співвідношенню позитивних і негативних прогнозів моделі відрізнятися між демографічними групами за умови, що вона однаково успішно прогнозує бажану мітку ("кваліфікований для відбору") для обох.
Прогнози моделі, показані на рисунку 4, не відповідають вимогам до демографічної рівності, оскільки шанс бути прийнятим студента з групи більшості становить 17,5%, а студента з групи меншості – 30%. Проте шанс бути прийнятим кваліфікованого студента становить 40% незалежно від того, до якої групи він належить, і це, мабуть, справедливіший результат для такого сценарію застосування моделі.
Одним із недоліків принципу рівності можливостей є те, що його розроблено для сценаріїв із чіткою бажаною міткою. Якщо однаково важливо, щоб модель передбачала як позитивний клас ("кваліфікований для відбору"), так і негативний ("не кваліфікований для відбору") для всіх груп населення, можливо, замість цього принципу доцільно використовувати показник зрівняних шансів, який забезпечує однакову кількість прогнозів для обох міток.
Іншим недоліком принципу рівності можливостей є те, що він оцінює справедливість, порівнюючи коефіцієнти помилок у сукупності для груп населення, що не завжди можливо. Наприклад, якби набір даних нашої моделі відбору кандидатів не мав ознаки demographic_group, було б неможливо розподілити прогнози прийняття кваліфікованих кандидатів на групи більшості й меншості та порівняти їх, щоб побачити, чи дотримано принципу рівності можливостей.
У наступному розділі ми розглянемо іншу метрику справедливості – контрфактичну справедливість. Її можна використовувати, якщо демографічні дані наведено не для всіх прикладів.
Вправа. Перевірте свої знання
Прогнози моделі цілком можуть одночасно відповідати вимогам як демографічної рівності, так і рівності можливостей.
Уявіть, що бінарний класифікатор (бажана мітка якого – позитивний клас) оцінюють на 100 прикладах, а результати, розподілені за групами населення (більшості й меншості) відображаються в матрицях помилок, наведених нижче.
| Група більшості | Група меншості | |||
|---|---|---|---|---|
| Прогнозовані позитивні | Прогнозовані негативні | Прогнозовані позитивні | Прогнозовані негативні | |
| Фактично позитивні | 6 | 12 | 3 | 6 |
| Фактично негативні | 10 | 36 | 6 | 21 |
|
\(\text{Positive Rate} = \frac{6+10}{6+10+12+36} = \frac{16}{64} = \text{25%}\) \(\text{True Positive Rate} = \frac{6}{6+12} = \frac{6}{18} = \text{33%}\) |
\(\text{Positive Rate} = \frac{3+6}{3+6+6+21} = \frac{9}{36} = \text{25%}\) \(\text{True Positive Rate} = \frac{3}{3+6} = \frac{3}{9} = \text{33%}\) |
|||
Кількість позитивних прогнозів як групи більшості, так і групи меншості становить 25%, що відповідає принципу демографічної рівності; а кількість істинно позитивних результатів (відсоток прикладів із бажаною міткою, які класифіковано правильно) дорівнює 33%, що відповідає принципу рівності можливостей.