Глоссарий машинного обучения: Google Cloud

На этой странице содержатся термины глоссария Google Cloud. Чтобы просмотреть все термины глоссария, нажмите здесь .

А

чип-ускоритель

#GoogleCloud

Категория специализированных аппаратных компонентов, предназначенных для выполнения ключевых вычислений, необходимых для алгоритмов глубокого обучения.

Чипы-ускорители (или просто ускорители , для краткости) могут значительно повысить скорость и эффективность задач обучения и вывода по сравнению с ЦП общего назначения. Они идеально подходят для обучения нейронных сетей и аналогичных задач с интенсивными вычислениями.

Примеры чипов-ускорителей включают в себя:

  • Тензорные процессоры Google ( TPU ) со специальным оборудованием для глубокого обучения.
  • Графические процессоры NVIDIA, изначально предназначенные для обработки графики, предназначены для обеспечения параллельной обработки, что может значительно повысить скорость обработки.

Б

пакетный вывод

#TensorFlow
#GoogleCloud

Процесс вывода прогнозов на нескольких немаркированных примерах , разделенных на более мелкие подмножества («партии»).

Пакетный вывод может использовать возможности распараллеливания микросхем-ускорителей . То есть несколько ускорителей могут одновременно делать прогнозы на разных пакетах немаркированных примеров, резко увеличивая количество выводов в секунду.

С

Облачный ТПУ

#TensorFlow
#GoogleCloud

Специализированный аппаратный ускоритель, предназначенный для ускорения рабочих нагрузок машинного обучения на Google Cloud Platform.

Д

устройство

#TensorFlow
#GoogleCloud

Перегруженный термин со следующими двумя возможными определениями:

  1. Категория оборудования, на котором можно запустить сеанс TensorFlow, включая процессоры, графические процессоры и TPU .
  2. При обучении модели МО на чипах-ускорителях (GPU или TPU) — той части системы, которая фактически манипулирует тензорами и внедрениями . Устройство работает на чипах-ускорителях. Напротив, хост обычно работает на процессоре.

ЧАС

хозяин

#TensorFlow
#GoogleCloud

При обучении модели МО на чипах-ускорителях (GPU или TPU ) — это часть системы, которая контролирует оба следующих фактора:

  • Общий поток кода.
  • Извлечение и преобразование входного трубопровода.

Хост обычно работает на процессоре, а не на чипе-ускорителе; устройство манипулирует тензорами на чипах ускорителя.

М

сетка

#TensorFlow
#GoogleCloud

В параллельном программировании машинного обучения — термин, связанный с назначением данных и модели микросхемам TPU и определением того, как эти значения будут сегментироваться или реплицироваться.

Сетка — это перегруженный термин, который может означать одно из следующих значений:

  • Физическое расположение чипов ТПУ.
  • Абстрактная логическая конструкция для отображения данных и модели на чипах TPU.

В любом случае сетка указывается как shape .

С

осколок

#TensorFlow
#GoogleCloud

Логическое разделение обучающего набора или модели . Как правило, некоторые процессы создают сегменты, разделяя примеры или параметры на (обычно) фрагменты одинакового размера. Затем каждый осколок назначается отдельной машине.

Шардинг модели называется параллелизмом модели ; сегментирование данных называется параллелизмом данных .

Т

Тензорный процессор (ТПУ)

#TensorFlow
#GoogleCloud

Специализированная интегральная схема (ASIC), которая оптимизирует производительность рабочих нагрузок машинного обучения. Эти ASIC развертываются в виде нескольких микросхем TPU на устройстве TPU .

ТПУ

#TensorFlow
#GoogleCloud

Аббревиатура от Tensor Processing Unit .

ТПУ чип

#TensorFlow
#GoogleCloud

Программируемый ускоритель линейной алгебры со встроенной памятью с высокой пропускной способностью, оптимизированный для рабочих нагрузок машинного обучения. На устройстве TPU развернуто несколько чипов TPU.

Устройство ТПУ

#TensorFlow
#GoogleCloud

Печатная плата (PCB) с несколькими микросхемами TPU , сетевыми интерфейсами с высокой пропускной способностью и оборудованием для охлаждения системы.

магистр ТПУ

#TensorFlow
#GoogleCloud

Централизованный процесс координации, выполняемый на хост-компьютере, который отправляет и получает данные, результаты, программы, производительность и информацию о состоянии системы работникам TPU . Мастер TPU также управляет настройкой и выключением устройств TPU .

узел ТПУ

#TensorFlow
#GoogleCloud

Ресурс TPU на Google Cloud Platform с определенным типом TPU . Узел TPU подключается к вашей сети VPC из одноранговой сети VPC . Узлы TPU — это ресурс, определенный в Cloud TPU API .

ТПУ Стручок

#TensorFlow
#GoogleCloud

Конкретная конфигурация устройств TPU в дата-центре Google. Все устройства в модуле TPU подключены друг к другу через выделенную высокоскоростную сеть. Модуль TPU — это самая большая конфигурация устройств TPU, доступная для конкретной версии TPU.

Ресурс ТПУ

#TensorFlow
#GoogleCloud

Объект TPU на Google Cloud Platform, который вы создаете, управляете или используете. Например, узлы TPU и типы TPU являются ресурсами TPU.

кусочек ТПУ

#TensorFlow
#GoogleCloud

Срез TPU — это дробная часть устройств TPU в модуле TPU . Все устройства в срезе TPU подключены друг к другу через выделенную высокоскоростную сеть.

Тип ТПУ

#TensorFlow
#GoogleCloud

Конфигурация одного или нескольких устройств TPU с определенной версией оборудования TPU. Вы выбираете тип TPU при создании узла TPU в Google Cloud Platform. Например, тип TPU v2-8 — это одно устройство TPU v2 с 8 ядрами. Тип v3-2048 TPU имеет 256 сетевых устройств TPU v3 и в общей сложности 2048 ядер. Типы TPU — это ресурс, определенный в Cloud TPU API .

работник ТПУ

#TensorFlow
#GoogleCloud

Процесс, который запускается на хост-компьютере и выполняет программы машинного обучения на устройствах TPU .