Saltar al contenido
← Catálogo
IntermedioFine-tuningPapersEficiencia

LoRA y fine-tuning eficiente

Adaptar modelos gigantes con matrices de rango bajo

La hipótesis de rango intrínseco, LoRA, QLoRA y adapters. Cuándo hacer fine-tuning y cuándo no.

Empezar curso →10 lecciones · 2 h 34 min de lectura activa

Temario

  1. Módulo 1 · La idea

    1. Por qué no ajustar todoPesos, gradientes y los dos estados de Adam, contados en Gemma 2 2B14′
    2. Rango intrínseco bajoEl cambio que hace un fine-tuning vive en pocas direcciones: lo medimos en un modelo de juguete16′
    3. La fórmulaW + (α/r)·BA: el forward, por qué B arranca en cero y qué hace α/r17′
    4. Dónde ponerloLas siete matrices de una capa de Gemma, cuánto cuesta LoRA en cada una y qué rango alcanza15′

  2. Módulo 2 · Implementación

    1. LoRA desde ceroUna capa LoRALinear en PyTorch: inyectarla, entrenarla, verificar sus gradientes y fusionarla15′
    2. peft por dentroLoraConfig, get_peft_model y save_pretrained, abiertos y comparados con nuestra LoRALinear16′
    3. Fusionar y servirmerge_and_unload, el costo de no fusionar y varios adapters sobre la misma base15′

  3. Módulo 3 · Más allá

    1. QLoRALa base en 4 bits, LoRA encima: absmax, NormalFloat y cuánto se ahorra17′
    2. VariantesrsLoRA, LoRA+ y DoRA: la escala, los learning rates y la forma del cambio15′
    3. Qué aprende y qué olvidaEl ΔW de LoRA contra el de un fine-tuning completo: rango, norma y una tarea vieja14′