本页面包含 Google Cloud 术语表。如需了解所有术语表术语,请点击此处。
应用
加速器条状标签
一类专用硬件组件,旨在执行深度学习算法所需的关键计算。
与通用 CPU 相比,加速器芯片(简称“加速器”)可以显著提高训练和推断任务的速度和效率。它们非常适合训练神经网络和类似的计算密集型任务。
加速器条状标签的示例包括:
- Google 的张量处理单元 (TPU),提供深度学习专用硬件。
- NVIDIA 的 GPU 虽然一开始是为图形处理而设计的,但设计是为了支持并行处理,这会显著提高处理速度。
B
批处理推断
对多个无标签示例进行推断预测的过程分为多个较小的子集(“批次”)。
批量推断可以利用加速器芯片的并行功能。也就是说,多个加速器可以同时推断不同批次的无标签预测结果,从而显著提高每秒的推理次数。
C
Cloud TPU
一种专用的硬件加速器,旨在加速 Google Cloud Platform 上的机器学习工作负载。
D
设备
一个重名术语,具有以下两个可能的定义:
- 一类可运行 TensorFlow 会话的硬件,包括 CPU、GPU 和 TPU。
- 在加速器芯片(GPU 或 TPU)上训练机器学习模型时,系统中实际操纵张量和嵌入的部分。设备在加速器芯片上运行。而主机通常在 CPU 上运行。
H
主播
在加速器芯片(GPU 或 TPU)上训练机器学习模型时,系统中控制这两个方面的部分:
- 代码的总体流程。
- 提取和转换输入流水线。
主机通常在 CPU(而非加速器芯片)上运行;设备操纵加速器芯片上的张量。
M
网格
在机器学习并行编程中,一个术语是将数据和模型分配给 TPU 芯片,以及定义如何分片或复制这些值。
网格是一个过载术语,可能表示以下两者之一:
- TPU 芯片的物理布局。
- 一种抽象逻辑结构,用于将数据和模型映射到 TPU 芯片。
无论是哪种情况,网格均指定为形状。
S
分片
训练集或模型的逻辑除法。通常,某些进程通过将示例或参数划分为(通常)大小相同的数据块来创建分片。然后将每个分片分配给不同的机器。
T
张量处理单元 (TPU)
特定于应用的集成电路 (ASIC),用于优化机器学习工作负载的性能。这些 ASIC 部署为 TPU 设备上的多个 TPU 芯片。
TPU
张量处理单元的缩写。
TPU 芯片
具有针对计算机工作负载优化、具有高带宽内存的可编程线性代数加速器。 多个 TPU 芯片部署在 TPU 设备上。
TPU 设备
具有多个 TPU 芯片的印刷电路板 (PCB)、高带宽网络接口和系统冷却硬件。
TPU 主实例
在宿主机上运行的核心协调过程,用于向 TPU 工作器发送和接收数据、结果、程序、性能和系统运行状况信息。TPU 主实例还会管理 TPU 设备的设置和关停。
TPU 节点
具有特定 TPU 类型的 Google Cloud Platform 上的 TPU 资源。TPU 节点从对等 VPC 网络连接到您的 VPC 网络。TPU 节点是在 Cloud TPU API 中定义的资源。
TPU Pod
Google 数据中心内 TPU 设备的特定配置。TPU pod 中的所有设备通过专用的高速网络相互连接。TPU Pod 是特定 TPU 版本可用的 TPU 设备的最大配置。
TPU 资源
您创建、管理或使用 Google Cloud Platform 上的 TPU 实体。例如,TPU 节点和 TPU 类型是 TPU 资源。
TPU 切片
TPU 切片是 TPU Pod 中的 TPU 设备 的小数部分。TPU 切片中的所有设备通过专用高速网络相互连接。
TPU 类型
一个或多个具有特定 TPU 硬件版本的 TPU 设备的配置。在 Google Cloud Platform 上创建 TPU 节点时,请选择 TPU 类型。例如,v2-8
TPU 类型是具有 8 个核心的单个 TPU v2 设备。一个 v3-2048
TPU 类型具有 256 个联网 TPU v3 设备以及总共 2048 个核心。TPU 类型是在 Cloud TPU API 中定义的资源。
TPU 工作器
在宿主机上运行并在 TPU 设备上执行机器学习程序的进程。