Что означает «генеративный» в названии «Генеративно-состязательная сеть»? « Генеративный » описывает класс статистических моделей, который контрастирует с дискриминационными моделями.
Неофициально:
- Генеративные модели могут генерировать новые экземпляры данных.
- Дискриминативные модели различают разные виды экземпляров данных.
Генеративная модель может генерировать новые фотографии животных, которые выглядят как настоящие животные, а дискриминативная модель может отличить собаку от кошки. GAN — это всего лишь один из видов генеративной модели.
Более формально, учитывая набор экземпляров данных X и набор меток Y:
- Генеративные модели фиксируют совместную вероятность p(X, Y) или просто p(X), если меток нет.
- Дискриминативные модели фиксируют условную вероятность p(Y | X).
Генеративная модель включает в себя распределение самих данных и сообщает вам, насколько вероятен данный пример. Например, модели, которые предсказывают следующее слово в последовательности, обычно являются генеративными моделями (обычно намного проще, чем GAN), потому что они могут присваивать вероятность последовательности слов.
Дискриминационная модель игнорирует вопрос о том, вероятен ли данный экземпляр, и просто говорит вам, насколько вероятно, что метка будет применена к экземпляру.
Обратите внимание, что это очень общее определение. Существует много видов генеративной модели. GAN — это всего лишь один из видов генеративной модели.
Моделирование вероятностей
Ни одна из моделей не должна возвращать число, представляющее вероятность. Вы можете моделировать распределение данных, имитируя это распределение.
Например, дискриминативный классификатор, такой как дерево решений, может маркировать экземпляр, не назначая вероятность этой метке. Такой классификатор по-прежнему будет моделью, потому что распределение всех предсказанных меток будет моделировать реальное распределение меток в данных.
Точно так же генеративная модель может моделировать распределение, создавая убедительные «фальшивые» данные, которые выглядят так, как будто они взяты из этого распределения.
Генеративные модели сложны
Генеративные модели решают более сложную задачу, чем аналогичные дискриминационные модели. Генеративные модели должны моделировать больше .
Генеративная модель для изображений может фиксировать такие корреляции, как «предметы, похожие на лодки, вероятно, появятся рядом с вещами, похожими на воду» и «глаза вряд ли появятся на лбу». Это очень сложные дистрибутивы.
Напротив, дискриминационная модель может узнать разницу между «парусником» и «не парусником», просто отыскав несколько контрольных паттернов. Это может игнорировать многие корреляции, которые генеративная модель должна правильно отображать.
Дискриминативные модели пытаются провести границы в пространстве данных, в то время как генеративные модели пытаются моделировать размещение данных в пространстве. Например, на следующей диаграмме показаны дискриминантная и генеративная модели рукописных цифр:
Рисунок 1: Дискриминационная и генеративная модели рукописных цифр.
Дискриминационная модель пытается определить разницу между написанными от руки нулями и единицами, рисуя линию в пространстве данных. Если он правильно понимает линию, он может отличить 0 от 1, даже не моделируя, где именно экземпляры размещены в пространстве данных по обе стороны от линии.
Напротив, генеративная модель пытается произвести убедительные 1 и 0, генерируя цифры, которые близки к своим реальным аналогам в пространстве данных. Он должен моделировать распределение по всему пространству данных.
GAN предлагают эффективный способ обучения таких богатых моделей, чтобы они напоминали реальный дистрибутив. Чтобы понять, как они работают, нам нужно понять базовую структуру GAN.
Проверьте свое понимание: генеративные и дискриминационные модели
- Бросьте три шестигранных кубика.
- Умножьте бросок на константу w.
- Повторите 100 раз и возьмите среднее значение всех результатов.