Saltar al contenido
← Catálogo
IntermedioOptimizaciónEntrenamientoPyTorch

Optimizadores, con foco en AdamW

De descenso por gradiente a AdamW, escritos a mano

De descenso por gradiente a AdamW, una idea por episodio: momentum, learning rates adaptativos, los dos momentos de Adam, weight decay desacoplado, schedules y estabilidad. Cada optimizador escrito a mano y comparado con torch.optim.

Empezar curso →10 lecciones · 2 h 41 min de lectura activa

Temario

  1. Módulo 1 · Descenso por gradiente

    1. Descenso por gradienteEl paso, el learning rate y qué pasa si es muy grande o muy chico16′
    2. SGD con minibatchesGradientes ruidosos y por qué igual funcionan16′
    3. MomentumRecordar los gradientes pasados, y Nesterov15′

  2. Módulo 2 · Adam y AdamW

    1. Tasas adaptativasAdaGrad y RMSProp: un learning rate por parámetro15′
    2. AdamPrimer y segundo momento y corrección de sesgo, línea por línea17′
    3. Weight decay no es L2En SGD son la misma cuenta; en Adam, no15′
    4. AdamWEl weight decay desacoplado, escrito a mano y comparado con torch.optim.AdamW17′

  3. Módulo 3 · En la práctica

    1. SchedulesWarmup, coseno y por qué Adam necesita warmup16′
    2. EstabilidadGradient clipping, épsilon y precisión mixta17′
    3. Después de AdamWAdafactor, Lion y Muon: qué cambian y cuánta memoria ahorran17′