“GPU 上的 AI 模型简介”测验

1. 训练与推理之间的主要区别是什么？

   训练仅使用前向传递；推理使用前向传递 + 后向传递

   训练会更新权重；推理不会更新权重

   推理需要比训练更大的数据集

   推理始终使用 CPU

2. 模型格式主要定义了什么？

   训练日志的压缩比

   权重、偏差和元数据的序列化方式

   模型可生成的 token 数量

   GPU 的调度方式

3. TensorRT 引擎最贴切的描述是：

   研究的可移植检查点

   不依赖特定供应商的交易格式

   针对特定硬件编译的 GPU 优化二进制文件

   轻量级社区驱动型格式

4. 与 CPU 相比，GPU 在推理方面有何优势？

   它们使用的核心数更少

   它们有数千个并行核心，针对矩阵数学进行了优化

   每个核心的功耗很高

   它们可以处理更多样化的指令

5. 性能优化中的“拐点”是什么？

   吞吐量崩溃时的延迟值

   吞吐量提高且延迟时间不会过长

   观测到的最长延迟时间

   模型可实现的最小内存占用空间，无论性能权衡如何

提交回答