Kuis Pengantar Model AI di GPU

1. Apa perbedaan utama antara pelatihan dan inferensi?

   Pelatihan hanya menggunakan forward pass; inferensi menggunakan forward + backward

   Pelatihan memperbarui bobot; inferensi tidak memperbarui bobot

   Inferensi memerlukan set data yang lebih besar daripada pelatihan

   Inferensi selalu menggunakan CPU

2. Apa yang terutama ditentukan oleh format model?

   Rasio kompresi log pelatihan

   Cara bobot, bias, dan metadata diserialisasi

   Jumlah token yang dapat dihasilkan model

   Cara GPU dijadwalkan

3. Mesin TensorRT paling tepat dideskripsikan sebagai:

   Pos pemeriksaan portabel untuk penelitian

   Format pertukaran agnostik vendor

   Biner yang dioptimalkan GPU dan dikompilasi untuk hardware tertentu

   Format ringan berbasis komunitas

4. Apa yang membuat GPU cocok untuk inferensi dibandingkan dengan CPU?

   Mereka menggunakan lebih sedikit core

   GPU memiliki ribuan core paralel yang dioptimalkan untuk matematika matriks

   Mereka mengonsumsi banyak daya per core

   Mereka menangani petunjuk yang lebih beragam

5. Apa yang dimaksud dengan “titik tekuk” dalam pengoptimalan performa?

   Nilai latensi saat throughput menurun

   Titik saat throughput meningkat tanpa terlalu memengaruhi latensi

   Latensi terlama yang diamati

   Jejak memori minimal yang dapat dicapai untuk suatu model, terlepas dari trade-off performa

Kirim jawaban