Reducción de la pérdida: Comprueba tu comprensión

Comprueba tu comprensión: Tamaño del lote

Explora las opciones que aparecen a continuación.

Al realizar un descenso de gradientes en un conjunto de datos de gran tamaño, ¿cuáles de los siguientes tamaños de lotes tienen más probabilidades de ser eficaces?
El lote completo.
El cálculo de la gradiente desde un lote completo no es eficaz. Es decir, la gradiente generalmente se puede calcular de manera mucho más eficaz (y con la misma exactitud) desde un lote más pequeño que desde un lote completo mucho más grande.
Un lote pequeño o incluso un lote de un ejemplo (SGD).
Sorprendentemente, realizar un descenso de gradientes en un lote pequeño o incluso un lote de un ejemplo generalmente es más eficaz que hacerlo en el lote completo. Después de todo, encontrar la gradiente de un ejemplo es mucho más económico que encontrar la gradiente de millones de ejemplos. Para garantizar una buena muestra representativa, el algoritmo recoge otro lote pequeño al azar (o un lote de uno) en cada iteración.

 

Enviar comentarios sobre…

Curso intensivo de aprendizaje automático