На этой странице представлены термины глоссария «Ответственный ИИ». Чтобы ознакомиться со всеми терминами глоссария, нажмите здесь .
А
атрибут
Синоним к слову "функция" .
В контексте машинного обучения под атрибутами часто подразумеваются характеристики, относящиеся к отдельным лицам.
предвзятость автоматизации
Когда человек, принимающий решения, отдает предпочтение рекомендациям автоматизированной системы принятия решений перед информацией, полученной без автоматизации, даже если автоматизированная система принятия решений допускает ошибки.
Дополнительную информацию см. в разделе «Справедливость: виды предвзятости в экспресс-курсе по машинному обучению».
Б
предвзятость (этика/справедливость)
1. Стереотипизация, предвзятость или фаворитизм по отношению к одним вещам, людям или группам по сравнению с другими. Эти предубеждения могут влиять на сбор и интерпретацию данных, проектирование системы и взаимодействие пользователей с ней. К таким формам предвзятости относятся:
- предвзятость автоматизации
- предвзятость подтверждения
- Предвзятость экспериментатора
- предвзятость групповой атрибуции
- неявная предвзятость
- предвзятость внутри группы
- смещение однородности внешней группы
2. Систематическая ошибка, возникающая в результате процедуры выборки или составления отчета. К таким формам смещения относятся:
- смещение охвата
- смещение, вызванное отсутствием ответа
- предвзятость участия
- предвзятость в репортажах
- смещение выборки
- предвзятость отбора
Не следует путать с термином «смещение» в моделях машинного обучения или смещением прогнозирования .
Дополнительную информацию см. в разделе «Справедливость: виды предвзятости в экспресс-курсе по машинному обучению».
С
предвзятость подтверждения
Тенденция искать, интерпретировать, отдавать предпочтение и вспоминать информацию таким образом, чтобы она подтверждала уже существующие убеждения или гипотезы. Разработчики машинного обучения могут непреднамеренно собирать или маркировать данные таким образом, что это влияет на результат, подтверждающий их существующие убеждения. Предвзятость подтверждения — это форма скрытой предвзятости .
Предвзятость экспериментатора — это форма предвзятости подтверждения, при которой экспериментатор продолжает обучение моделей до тех пор, пока не подтвердится ранее выдвинутая гипотеза.
контрфактуальная справедливость
Метрика справедливости , которая проверяет, дает ли модель классификации одинаковый результат для одного человека и для другого человека, идентичного первому, за исключением одного или нескольких конфиденциальных атрибутов . Оценка модели классификации на предмет контрфактической справедливости — один из методов выявления потенциальных источников предвзятости в модели.
Для получения более подробной информации обратитесь к одному из следующих источников:
- Справедливость: контрфактуальная справедливость в кратком курсе по машинному обучению.
- Когда миры сталкиваются: интеграция различных контрфактических предположений в контексте справедливости
смещение охвата
См. предвзятость отбора .
Д
демографическое равенство
Показатель справедливости , который считается выполненным, если результаты классификации модели не зависят от заданного конфиденциального атрибута .
Например, если в университет Глуббдубдриба подают заявки как лилипуты, так и бробдингнаги, демографическое равенство достигается, если процент принятых лилипутов совпадает с процентом принятых бробдингнагов, независимо от того, является ли одна группа в среднем более квалифицированной, чем другая.
В отличие от принципов выравнивания шансов и равенства возможностей , которые допускают зависимость результатов классификации в целом от конфиденциальных атрибутов, но не допускают зависимости результатов классификации для определенных заданных эталонных меток от конфиденциальных атрибутов. См. «Борьба с дискриминацией с помощью более интеллектуального машинного обучения» для визуализации, демонстрирующей компромиссы при оптимизации для достижения демографического равенства.
Дополнительную информацию см. в разделе «Справедливость: демографическое равенство» в кратком курсе по машинному обучению.
неравномерное воздействие
Принятие решений, касающихся людей, которые непропорционально влияют на различные подгруппы населения. Обычно это относится к ситуациям, когда алгоритмический процесс принятия решений наносит вред или приносит пользу одним подгруппам больше, чем другим.
Например, предположим, что алгоритм, определяющий право лилипута на получение кредита на миниатюрный дом, с большей вероятностью классифицирует его как «не имеющего права», если в его почтовом адресе содержится определенный почтовый индекс. Если у лилипутов с большим диагональным номером почтовые адреса с таким индексом встречаются чаще, чем у лилипутов с малым диагональным номером, то этот алгоритм может привести к неравномерному воздействию.
В отличие от подхода, основанного на дискриминации , который фокусируется на различиях, возникающих, когда характеристики подгрупп являются явными входными данными для алгоритмического процесса принятия решений.
неравное обращение
Учет конфиденциальных характеристик субъектов в алгоритмическом процессе принятия решений таким образом, чтобы к различным подгруппам людей применялся разный подход.
Например, рассмотрим алгоритм, который определяет право лилипутов на получение кредита на миниатюрный дом на основе данных, предоставленных ими в заявке на кредит. Если алгоритм использует в качестве входных данных принадлежность лилипута к системе с порядком байтов Big-Endian или Little-Endian, он применяет дискриминационный подход по этому параметру.
В отличие от подхода, основанного на неравномерном воздействии , который фокусируется на различиях в социальном влиянии алгоритмических решений на подгруппы, независимо от того, являются ли эти подгруппы входными данными для модели.
Е
равенство возможностей
Показатель справедливости, позволяющий оценить, насколько хорошо модель предсказывает желаемый результат для всех значений чувствительного атрибута . Другими словами, если желаемый результат для модели — положительный класс , цель состоит в том, чтобы доля истинно положительных результатов была одинаковой для всех групп.
Равенство возможностей связано с выравниванием шансов , что требует, чтобы как показатели истинно положительных результатов, так и показатели ложноположительных результатов были одинаковыми для всех групп.
Предположим, что Университет Глуббдубдриб принимает как лилипутов, так и бробдингнагцев на строгую математическую программу. Средние школы лилипутов предлагают насыщенную программу по математике, и подавляющее большинство учеников соответствуют требованиям для поступления в университет. Средние школы бробдингнагцев вообще не предлагают математических классов, и в результате гораздо меньше их учеников соответствуют требованиям. Равенство возможностей для предпочтительного статуса «принят» в зависимости от национальности (лилипут или бробдингнагец), если вероятность приема квалифицированных студентов одинакова независимо от того, являются ли они лилипутами или бробдингнагцами.
Например, предположим, что 100 лилипутов и 100 бробдингнагцев подают заявления в университет Глуббдубдриб, и решения о приеме принимаются следующим образом:
Таблица 1. Лилипуты среди претендентов (90% соответствуют требованиям)
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 45 | 3 |
| Отклоненный | 45 | 7 |
| Общий | 90 | 10 |
| Процент принятых студентов, отвечающих требованиям: 45/90 = 50% Процент студентов, не прошедших отбор, составляет 7/10 = 70%. Общий процент принятых студентов-лилипутов: (45+3)/100 = 48% | ||
Таблица 2. Огромное количество претендентов (10% соответствуют требованиям):
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 5 | 9 |
| Отклоненный | 5 | 81 |
| Общий | 10 | 90 |
| Процент принятых студентов, отвечающих требованиям: 5/10 = 50% Процент студентов, не прошедших отбор, составляет: 81/90 = 90%. Общий процент принятых студентов из Бробдингнага: (5+9)/100 = 14% | ||
Приведенные выше примеры удовлетворяют условию равенства возможностей для приема квалифицированных студентов, поскольку и лилипуты, и бробдингнаги имеют 50%-ный шанс быть принятыми.
Хотя принцип равенства возможностей соблюдается, следующие два показателя справедливости не соблюдаются:
- Демографическое равенство : лилипуты и бробдингнаги поступают в университет с разной частотой; принимается 48% студентов-лилипутов, но только 14% студентов-бробдингнагов.
- Уравненные шансы : Хотя у квалифицированных студентов-лилипутов и студентов-бробдингнагов одинаковые шансы на поступление, дополнительное ограничение, согласно которому у неквалифицированных лилипутов и студентов-бробдингнагов одинаковые шансы на отказ, не выполняется. У неквалифицированных лилипутов процент отказов составляет 70%, а у неквалифицированных студентов-бробдингнагов — 90%.
Дополнительную информацию см. в разделе «Справедливость: равенство возможностей в экспресс-курсе по машинному обучению».
уравненные шансы
Показатель справедливости, позволяющий оценить, насколько хорошо модель прогнозирует результаты для всех значений чувствительного атрибута как для положительного , так и для отрицательного класса, а не только для одного класса в отдельности. Другими словами, как показатель истинно положительных результатов , так и показатель ложноотрицательных результатов должны быть одинаковыми для всех групп.
Принцип выравнивания шансов связан с равенством возможностей , который фокусируется только на частоте ошибок для одного класса (положительного или отрицательного).
Например, предположим, что Университет Глуббдубдриб принимает как лилипутов, так и бробдингнагцев на строгую математическую программу. Средние школы лилипутов предлагают насыщенную программу по математике, и подавляющее большинство учеников соответствуют требованиям для поступления в университет. Средние школы бробдингнагцев вообще не предлагают математических курсов, и в результате гораздо меньше их учеников соответствуют требованиям. Уравненные шансы выполняются при условии, что независимо от того, является ли абитуриент лилипутом или бробдингнагцем, если он соответствует требованиям, у него одинаковая вероятность быть принятым в программу, а если он не соответствует требованиям, у него одинаковая вероятность получить отказ.
Предположим, 100 лилипутов и 100 бробдингнагцев подают заявления в университет Глуббдубдриб, и решения о приеме принимаются следующим образом:
Таблица 3. Лилипуты среди претендентов (90% соответствуют требованиям)
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 45 | 2 |
| Отклоненный | 45 | 8 |
| Общий | 90 | 10 |
| Процент принятых студентов, отвечающих требованиям: 45/90 = 50% Процент студентов, не прошедших отбор, составляет 8/10 = 80%. Общий процент принятых студентов-лилипутов: (45+2)/100 = 47% | ||
Таблица 4. Огромное количество претендентов (10% соответствуют требованиям):
| Квалифицированный | Неквалифицированный | |
|---|---|---|
| Допущенный | 5 | 18 |
| Отклоненный | 5 | 72 |
| Общий | 10 | 90 |
| Процент принятых студентов, отвечающих требованиям: 5/10 = 50% Процент студентов, не прошедших отбор, составил: 72/90 = 80%. Общий процент принятых студентов из Бробдингнага: (5+18)/100 = 23% | ||
Уравненные шансы соблюдены, поскольку у квалифицированных студентов уровня лилипута и бробдингнага вероятность поступления составляет 50%, а у неквалифицированных студентов уровня лилипута и бробдингнага — 80%.
В работе «Равенство возможностей в контролируемом обучении» формально определяется принцип выравнивания шансов следующим образом: «предиктор Ŷ удовлетворяет принципу выравнивания шансов по отношению к защищаемому атрибуту A и результату Y, если Ŷ и A независимы при условии Y».
Предвзятость экспериментатора
См. предвзятость подтверждения .
Ф
ограничение справедливости
Применение ограничения к алгоритму для обеспечения выполнения одного или нескольких определений справедливости. Примеры ограничений справедливости включают:- Постобработка выходных данных вашей модели.
- Изменение функции потерь с целью включения штрафа за нарушение критерия справедливости .
- Непосредственное добавление математического ограничения к задаче оптимизации.
метрика справедливости
Математическое определение «справедливости», поддающееся измерению. К числу часто используемых показателей справедливости относятся:
- уравненные шансы
- прогнозируемая паритетность
- контрфактуальная справедливость
- демографическое равенство
Многие показатели справедливости являются взаимоисключающими; см. несовместимость показателей справедливости .
Г
предвзятость групповой атрибуции
Предполагается, что то, что верно для отдельного человека, верно и для всех членов этой группы. Влияние групповой предвзятости в атрибуции может усугубиться, если для сбора данных используется выборочная совокупность по принципу удобства . В нерепрезентативной выборке могут быть сделаны атрибуции, не отражающие реальность.
См. также предвзятость, связанную с однородностью внешней группы , и предвзятость внутри группы . Также см. раздел «Справедливость: типы предвзятости» в «Кратком курсе по машинному обучению» для получения дополнительной информации.
ЧАС
историческая предвзятость
Это тип предвзятости , который уже существует в мире и проник в набор данных. Такие предубеждения, как правило, отражают существующие культурные стереотипы, демографическое неравенство и предрассудки в отношении определенных социальных групп.
Например, рассмотрим модель классификации , которая предсказывает, допустит ли заемщик просрочку по кредиту, обученную на исторических данных о просрочках по кредитам за 1980-е годы от местных банков в двух разных населенных пунктах. Если бы у заемщиков из населенного пункта А вероятность просрочки по кредитам была в шесть раз выше, чем у заемщиков из населенного пункта Б, модель могла бы усвоить историческую предвзятость, в результате чего она с меньшей вероятностью одобрила бы кредиты в населенном пункте А, даже если исторические условия, приведшие к более высоким показателям просрочек в этом населенном пункте, больше не актуальны.
Дополнительную информацию см. в разделе «Справедливость: виды предвзятости в экспресс-курсе по машинному обучению».
я
неявная предвзятость
Автоматическое формирование ассоциаций или предположений на основе собственных моделей мышления и воспоминаний. Скрытая предвзятость может влиять на следующее:
- Как осуществляется сбор и классификация данных.
- Как проектируются и разрабатываются системы машинного обучения.
Например, при построении модели классификации для идентификации свадебных фотографий инженер может использовать наличие белого платья на фотографии в качестве признака. Однако белые платья были обычаем только в определенные эпохи и в определенных культурах.
См. также предвзятость подтверждения .
несовместимость метрик справедливости
Идея заключается в том, что некоторые понятия справедливости взаимоисключающи и не могут быть удовлетворены одновременно. В результате не существует единой универсальной метрики для количественной оценки справедливости, применимой ко всем задачам машинного обучения.
Хотя это может показаться обескураживающим, несовместимость метрик справедливости не означает, что усилия по обеспечению справедливости бесплодны. Напротив, это говорит о том, что справедливость должна определяться контекстуально для конкретной задачи машинного обучения с целью предотвращения вреда, специфичного для ее вариантов использования.
Более подробное обсуждение несовместимости показателей справедливости см. в разделе "О (не)возможности справедливости" .
индивидуальная справедливость
Показатель справедливости, проверяющий, классифицируются ли похожие люди одинаково. Например, Бробдингнагианская академия может стремиться к обеспечению индивидуальной справедливости, гарантируя, что два студента с одинаковыми оценками и результатами стандартизированных тестов имеют равные шансы на поступление.
Следует отметить, что индивидуальная справедливость полностью зависит от того, как вы определяете «сходство» (в данном случае, оценки и результаты тестов), и вы рискуете столкнуться с новыми проблемами справедливости, если ваш показатель сходства не учитывает важную информацию (например, сложность учебной программы студента).
Более подробное обсуждение индивидуальной справедливости см. в разделе «Справедливость через осведомленность» .
предвзятость внутри группы
Проявление предвзятости по отношению к собственной группе или личным характеристикам. Если тестировщиками или оценщиками являются друзья, родственники или коллеги разработчика машинного обучения, то предвзятость по отношению к своей группе может сделать недействительным тестирование продукта или набор данных.
Предвзятость по отношению к своей группе — это форма предвзятости в отношении атрибуции группы . См. также предвзятость, связанная с однородностью чужой группы .
Дополнительную информацию см. в разделе «Справедливость: виды предвзятости в экспресс-курсе по машинному обучению».
Н
смещение, вызванное отсутствием ответа
См. предвзятость отбора .
О
смещение однородности внешней группы
Тенденция воспринимать членов чужой группы как более похожих друг на друга, чем членов своей группы, при сравнении взглядов, ценностей, личностных черт и других характеристик. Под «своей группой» подразумеваются люди, с которыми вы регулярно взаимодействуете; под «чужой группой» — люди, с которыми вы не взаимодействуете регулярно. Если вы создадите набор данных, попросив людей указать характеристики чужой группы, эти характеристики могут быть менее детализированными и более стереотипными, чем характеристики, которые участники указывают для людей из своей внутренней группы.
Например, лилипуты могут очень подробно описывать дома других лилипутов, указывая на небольшие различия в архитектурном стиле, окнах, дверях и размерах. Однако те же самые лилипуты могут просто заявить, что все бробдингнаги живут в одинаковых домах.
Смещение, связанное с однородностью чужой группы, является формой смещения, обусловленного атрибуцией группы .
См. также предвзятость внутри группы .
П
предвзятость участия
Синоним к слову «предвзятость, связанная с отказом от участия в исследовании». См. «предвзятость отбора» .
постобработка
Корректировка выходных данных модели после ее запуска. Постобработка может использоваться для обеспечения соблюдения ограничений справедливости без изменения самих моделей.
Например, к модели бинарной классификации можно применить постобработку, установив пороговое значение классификации таким образом, чтобы для некоторого атрибута сохранялось равенство возможностей путем проверки того, что доля истинно положительных результатов одинакова для всех значений этого атрибута.
прогнозируемая паритетность
Показатель справедливости , проверяющий, являются ли для данной модели классификации показатели точности эквивалентными для рассматриваемых подгрупп.
Например, модель, предсказывающая поступление в колледж, будет удовлетворять условию паритета прогнозирования по национальности, если ее точность будет одинаковой для лилипутов и бробдингнагцев.
Прогностическая паритетность иногда также называется прогностической паритетностью скорости .
Более подробное обсуждение понятия прогнозируемого равенства см. в разделе «Разъяснение определений справедливости» (раздел 3.2.1).
прогнозируемая паритетность скорости
Другое название для прогнозируемой паритеты .
предварительная обработка
Обработка данных перед их использованием для обучения модели. Предварительная обработка может быть как простой, например, удалением слов из английского текстового корпуса, которые не встречаются в английском словаре, так и сложной, например, переформулированием точек данных таким образом, чтобы исключить как можно больше атрибутов, коррелирующих с конфиденциальными атрибутами . Предварительная обработка может помочь соблюсти ограничения справедливости .прокси (конфиденциальные атрибуты)
Атрибут, используемый в качестве замены конфиденциального атрибута . Например, почтовый индекс человека может использоваться в качестве косвенного показателя его дохода, расы или этнической принадлежности.Р
reporting bias
The fact that the frequency with which people write about actions, outcomes, or properties is not a reflection of their real-world frequencies or the degree to which a property is characteristic of a class of individuals. Reporting bias can influence the composition of data that machine learning systems learn from.
For example, in books, the word laughed is more prevalent than breathed . A machine learning model that estimates the relative frequency of laughing and breathing from a book corpus would probably determine that laughing is more common than breathing.
See Fairness: Types of bias in Machine Learning Crash Course for more information.
С
смещение выборки
See selection bias .
предвзятость отбора
Errors in conclusions drawn from sampled data due to a selection process that generates systematic differences between samples observed in the data and those not observed. The following forms of selection bias exist:
- coverage bias : The population represented in the dataset doesn't match the population that the machine learning model is making predictions about.
- sampling bias : Data is not collected randomly from the target group.
- non-response bias (also called participation bias ): Users from certain groups opt-out of surveys at different rates than users from other groups.
For example, suppose you are creating a machine learning model that predicts people's enjoyment of a movie. To collect training data, you hand out a survey to everyone in the front row of a theater showing the movie. Offhand, this may sound like a reasonable way to gather a dataset; however, this form of data collection may introduce the following forms of selection bias:
- coverage bias: By sampling from a population who chose to see the movie, your model's predictions may not generalize to people who did not already express that level of interest in the movie.
- sampling bias: Rather than randomly sampling from the intended population (all the people at the movie), you sampled only the people in the front row. It is possible that the people sitting in the front row were more interested in the movie than those in other rows.
- non-response bias: In general, people with strong opinions tend to respond to optional surveys more frequently than people with mild opinions. Since the movie survey is optional, the responses are more likely to form a bimodal distribution than a normal (bell-shaped) distribution.
sensitive attribute
A human attribute that may be given special consideration for legal, ethical, social, or personal reasons.У
unawareness (to a sensitive attribute)
A situation in which sensitive attributes are present, but not included in the training data. Because sensitive attributes are often correlated with other attributes of one's data, a model trained with unawareness about a sensitive attribute could still have disparate impact with respect to that attribute, or violate other fairness constraints .