Introduction to AI Models on GPU 測驗

1. 訓練和推論的主要差異是什麼？

   訓練只會使用正向傳遞；推論則會使用正向 + 反向傳遞

   訓練會更新權重，推論則不會更新權重

   推論需要比訓練更大的資料集

   推論一律使用 CPU

2. 模型格式主要定義什麼？

   訓練記錄的壓縮比

   權重、偏誤和中繼資料的序列化方式

   模型可生成的權杖數量

   GPU 的排程方式

3. TensorRT 引擎最貼切的描述是：

   可攜式研究檢查點

   各供應商通用的交易格式

   針對特定硬體編譯的 GPU 最佳化二進位檔

   簡便的社群導向格式

4. 與 CPU 相比，GPU 有哪些優勢，因此非常適合用於推論？

   使用較少核心

   這些晶片有數千個平行核心，專為矩陣數學最佳化

   每個核心都會消耗大量電力

   處理更多樣化的指令

5. 在成效最佳化方面，「膝點」是什麼？

   處理量崩潰時的延遲值

   處理量有所提升，但延遲時間不會大幅增加

   觀察到的最慢延遲時間

   模型可達成的最小記憶體用量，不論效能取捨

提交答案