Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Memeriksa Pemahaman Anda: Ukuran Batch
Pelajari opsi di bawah ini.
Saat melakukan penurunan gradien pada set data yang besar, manakah dari ukuran tumpukan berikut yang kemungkinan akan lebih efisien?
Paket lengkap.
Menghitung gradien dari tumpukan penuh tidak efisien. Artinya, gradien biasanya dapat dihitung jauh lebih efisien (dan akurat) dari tumpukan yang lebih kecil daripada dari tumpukan penuh yang jauh lebih besar.
Batch kecil atau bahkan batch satu contoh (SGD).
Luar biasa, melakukan penurunan gradien pada tumpukan kecil atau bahkan tumpukan satu contoh biasanya lebih efisien daripada tumpukan penuh. Lagi pula, menemukan gradien dari satu contoh jauh lebih murah daripada menemukan gradien yang berisi jutaan contoh.
Untuk memastikan sampel perwakilan yang baik, algoritme mengambil tumpukan kecil acak lainnya (atau satu tumpukan) pada setiap iterasi.
