Введение в машинное обучение

Что такое машинное обучение?

Машинное обучение (ML) лежит в основе некоторых из важнейших технологий, которые мы используем, от приложений для перевода до автономных транспортных средств. Этот курс объясняет основные концепции ML.

ML предлагает новый способ решения проблем, ответа на сложные вопросы и создания нового контента. ML может предсказывать погоду, оценивать время в пути, рекомендовать песни, автоматически дополнять предложения, резюмировать статьи и генерировать никогда ранее не виденные изображения.

Проще говоря, МО — это процесс обучения программного обеспечения, называемого моделью , для составления полезных прогнозов или генерации контента (например, текста, изображений, аудио или видео) на основе данных.

Например, предположим, что мы хотим создать приложение для прогнозирования осадков. Мы могли бы использовать либо традиционный подход, либо подход МО. Используя традиционный подход, мы бы создали основанное на физике представление атмосферы и поверхности Земли, вычислив огромное количество уравнений динамики жидкости. Это невероятно сложно.

Используя подход МО, мы бы дали модели МО огромные объемы данных о погоде, пока модель МО в конечном итоге не узнала бы математическую связь между погодными условиями, которые производят разное количество осадков. Затем мы бы дали модели текущие данные о погоде, и она бы предсказала количество осадков.

Проверьте свое понимание

Что такое «модель» в машинном обучении?
Модель — это математическая зависимость, полученная на основе данных, которую система МО использует для составления прогнозов.
Модель — это часть компьютерного оборудования.
Модель — это уменьшенное изображение изучаемого объекта.

Типы систем МО

Системы машинного обучения попадают в одну или несколько из следующих категорий в зависимости от того, как они учатся делать прогнозы или генерировать контент:

  • Контролируемое обучение
  • Неконтролируемое обучение
  • Обучение с подкреплением
  • Генеративный ИИ

Контролируемое обучение

Модели контролируемого обучения могут делать прогнозы, увидев множество данных с правильными ответами, а затем обнаружив связи между элементами в данных, которые дают правильные ответы. Это похоже на то, как студент изучает новый материал, изучая старые экзамены, которые содержат как вопросы, так и ответы. Как только студент потренировался на достаточном количестве старых экзаменов, он хорошо подготовлен к сдаче нового экзамена. Эти системы МО являются «контролируемыми» в том смысле, что человек предоставляет системе МО данные с известными правильными результатами.

Двумя наиболее распространенными вариантами использования контролируемого обучения являются регрессия и классификация.

Регрессия

Регрессионная модель предсказывает числовое значение. Например, погодная модель, которая предсказывает количество осадков в дюймах или миллиметрах, является регрессионной моделью.

Дополнительные примеры регрессионных моделей смотрите в таблице ниже:

Сценарий Возможные входные данные Числовое предсказание
Будущая цена дома Площадь, почтовый индекс, количество спален и ванных комнат, размер участка, процентная ставка по ипотеке, ставка налога на имущество, стоимость строительства и количество домов на продажу в этом районе. Стоимость дома.
Время будущей поездки История дорожной обстановки (собранная со смартфонов, датчиков дорожного движения, приложений для заказа поездок и других навигационных приложений), расстояние до пункта назначения и погодные условия. Время в минутах и ​​секундах, необходимое для прибытия в пункт назначения.

Классификация

Модели классификации предсказывают вероятность того, что что-то относится к категории. В отличие от моделей регрессии, выходом которых является число, модели классификации выводят значение, которое указывает, относится ли что-то к определенной категории. Например, модели классификации используются для прогнозирования того, является ли электронное письмо спамом или содержит ли фотография кошку.

Модели классификации делятся на две группы: бинарная классификация и многоклассовая классификация. Бинарные модели классификации выводят значение из класса, который содержит только два значения, например, модель, которая выводит либо rain , либо no rain . Многоклассовые модели классификации выводят значение из класса, который содержит более двух значений, например, модель, которая может выводить либо rain , hail , snow или sleet .

Проверьте свое понимание

Если бы вы хотели использовать модель МО для прогнозирования энергопотребления в коммерческих зданиях, какой тип модели вы бы использовали?
Регрессия
Потребление энергии измеряется в киловатт-часах (кВт-ч), то есть в числовом выражении, поэтому вам следует использовать регрессионную модель.
Классификация
Модели классификации предсказывают, относится ли что-то к категории, в то время как модели регрессии предсказывают число. Поскольку потребление энергии измеряется в киловатт-часах (кВт·ч), что является числом, вам следует использовать регрессионную модель.

Неконтролируемое обучение

Модели неконтролируемого обучения делают прогнозы, получая данные, которые не содержат правильных ответов. Цель модели неконтролируемого обучения — выявить значимые закономерности среди данных. Другими словами, у модели нет подсказок о том, как классифицировать каждую часть данных, вместо этого она должна выводить свои собственные правила.

Широко используемая модель обучения без учителя использует технику, называемую кластеризацией . Модель находит точки данных, которые разграничивают естественные группировки.

Изображение, показывающее цветные точки в кластерах.

Рисунок 1. Модель МО, кластеризующая схожие точки данных.

Изображение, показывающее цветные точки в кластерах, которые прилагаются в форму и граничат друг с другом.

Рисунок 2. Группы кластеров с естественными разграничениями.

Кластеризация отличается от классификации, поскольку категории определяются не вами. Например, неконтролируемая модель может кластеризовать набор данных о погоде на основе температуры, выявляя сегментации, определяющие времена года. Затем вы можете попытаться назвать эти кластеры на основе вашего понимания набора данных.

Изображение, на котором показаны цветные точки, объединенные в кластеры, которые обозначены как снег, дождь, град и отсутствие дождя.

Рисунок 3. Модель МО, кластеризующая схожие погодные условия.

Изображение, на котором показаны цветные точки в кластерах, обозначенных как снег, дождь, град и отсутствие дождя, которые заключены в фигуру и граничат друг с другом.

Рисунок 4. Кластеры погодных условий, обозначенных как снег, мокрый снег, дождь и отсутствие дождя.

Проверьте свое понимание

Чем отличается контролируемый подход от неконтролируемого?
При контролируемом подходе предоставляются данные, содержащие правильный ответ.
Контролируемый подход предполагает наличие данных, содержащих правильный ответ. Задача модели — найти связи в данных, которые дают правильный ответ. Неконтролируемый подход предполагает наличие данных без правильного ответа. Его задача — найти группировки в данных.
Контролируемый подход обычно использует кластеризацию.
Неконтролируемый подход использует кластеризацию.
Неконтролируемый подход позволяет маркировать кластеры данных.
Неконтролируемый подход не знает, что означают кластеры данных. На основе вашего понимания данных, вам решать, как их определить.

Обучение с подкреплением

Модели обучения с подкреплением делают прогнозы, получая вознаграждения или штрафы на основе действий, выполненных в среде. Система обучения с подкреплением генерирует политику , которая определяет наилучшую стратегию для получения наибольшего вознаграждения.

Обучение с подкреплением используется для обучения роботов выполнению задач, например, хождению по комнате, а также программ, таких как AlphaGo для игры в го.

Генеративный ИИ

Генеративный ИИ — это класс моделей, которые создают контент из пользовательского ввода. Например, генеративный ИИ может создавать уникальные изображения, музыкальные композиции и шутки; он может резюмировать статьи, объяснять, как выполнить задачу, или редактировать фотографию.

Генеративный ИИ может принимать различные входные данные и создавать различные выходные данные, такие как текст, изображения, аудио и видео. Он также может принимать и создавать их комбинации. Например, модель может принимать изображение в качестве входных данных и создавать изображение и текст в качестве выходных данных или принимать изображение и текст в качестве входных данных и создавать видео в качестве выходных данных.

Мы можем обсуждать генеративные модели по их входам и выходам, обычно записываемым как «тип входа»-к-«типу выхода». Например, ниже приведен частичный список некоторых входов и выходов для генеративных моделей:

  • Текст в текст
  • Текст-в-изображение
  • Текст-в-видео
  • Текст-в-код
  • Текст в речь
  • Изображение и текст в изображение

В следующей таблице приведены примеры генеративных моделей, их входные данные и пример их возможных выходных данных:

Модель Вход Пример вывода
Текст в текст Кто придумал гонку Ле-Ман? Гонка 24 часа Ле-Мана была основана Автомобильным клубом Запада (ACO), автомобильной организацией, основанной в 1906 году. Первая гонка прошла 26 и 27 мая 1923 года на трассе Сарта, 13,426-километровой (8,345-мильной) трассе, расположенной недалеко от города Ле-Ман во Франции. Гонка изначально была задумана как способ популяризации ACO и региона Сарта.
Источник: Бард
Текст-в-изображение Инопланетный осьминог проплывает через портал, читая газету. Изображение мультяшного осьминога.
Источник: Imagen
Текст-в-видео Фотореалистичный плюшевый мишка плавает в океане в Сан-Франциско. Плюшевый мишка уходит под воду. Плюшевый мишка продолжает плавать под водой с разноцветными рыбками. Панда плавает под водой. Видео плюшевого медведя, плавающего под водой.
Источник: Фенаки
Текст-в-код Напишите цикл на Python, который проходит по списку чисел и выводит простые числа.
for number in numbers:
  # Check if the number is prime.
  is_prime = True
  for i in range(2, number):
    if number % i == 0:
        is_prime = False
        break
  # If the number is prime, print it.
  if is_prime:
    print(number)

Источник: Бард
Изображение в текст Изображение фламинго. Это фламинго. Они водятся в Карибском море.
Источник: Google DeepMind

Как работает генеративный ИИ? На высоком уровне генеративные модели изучают закономерности в данных с целью создания новых, но похожих данных. Генеративные модели выглядят следующим образом:

  • Комики, которые учатся подражать другим, наблюдая за поведением и стилем речи людей
  • Художники, которые учатся рисовать в определенном стиле, изучая множество картин в этом стиле.
  • Кавер-группы, которые учатся звучать как определенная музыкальная группа, слушая много музыки этой группы

Для создания уникальных и креативных результатов генеративные модели изначально обучаются с использованием неконтролируемого подхода, где модель учится имитировать данные, на которых она была обучена. Иногда модель обучается далее с использованием контролируемого или подкрепленного обучения на конкретных данных, связанных с задачами, которые может попросить выполнить модель, например, резюмировать статью или редактировать фотографию.

Генеративный ИИ — это быстро развивающаяся технология, и постоянно открываются новые варианты использования. Например, генеративные модели помогают компаниям улучшать изображения своих продуктов электронной коммерции, автоматически удаляя отвлекающий фон или улучшая качество изображений с низким разрешением.