Saltar al contenido
← Catálogo
AvanzadoalignmentRLHFDPOConstitutional AIinterpretabilidadseguridad

AI Alignment: de RLHF a la interpretabilidad

Cómo logramos que los modelos hagan lo que realmente queremos (y cómo lo verificamos)

Un recorrido técnico por el problema de alineación: desde Goodhart y el reward hacking hasta RLHF, DPO y Constitutional AI. Cerramos con interpretabilidad mecanicista, evaluaciones y supervisión escalable, con las derivaciones matemáticas completas y código.

Empezar curso →16 lecciones · 5 h 8 min de lectura activa

Temario

  1. Módulo 1 · El modelo y cómo aprende

    1. El modelo por dentroQué es alinear, y qué es en tensores lo que queremos alinear15′
    2. Cómo aprendePérdida, gradientes, ajuste supervisado y LoRA, en código17′

  2. Módulo 2 · Aprender de preferencias

    1. Modelos de recompensaCómo una preferencia humana se convierte en un número entrenable16′
    2. RLHF con PPOOptimizar contra el modelo de recompensa sin alejarse del punto de partida17′
    3. DPO y la constituciónSaltear el modelo de recompensa, y dejar que la IA ponga las etiquetas19′

  3. Módulo 3 · Qué sale mal

    1. Qué sale malGoodhart, sobreoptimización, adulación, objetivos mal aprendidos y engaño16′

  4. Módulo 4 · Interpretabilidad

    1. Hooks: mirar y tocar activacionesInterceptar el forward de PyTorch para leer y cambiar lo que el modelo calcula19′
    2. Direcciones: probes y steeringLeer, sumar y borrar conceptos como vectores del residual stream17′
    3. Superposición, SAEs y circuitosMás conceptos que dimensiones, un autoencoder que los separa y gradientes que dicen cuáles importan19′

  5. Módulo 5 · Supervisión

    1. Supervisar lo que no podés verificarEvals con controles, organismos modelo, débil-a-fuerte, debate y control16′

  6. Módulo 6 · Lecturas complementarias

    1. El problema de alineaciónPor qué optimizar un objetivo medible no es lo mismo que obtener lo que queríamos: Goodhart, specification gaming y la distinción entre outer e inner alignment.20′
    2. RLHF: aprender de preferencias humanasDe Christiano et al. (2017) a InstructGPT: SFT, reward model con Bradley-Terry y PPO con penalización KL, con las ecuaciones completas.25′
    3. DPO: tu modelo de lenguaje es secretamente un reward modelDerivamos paso a paso la pérdida de Direct Preference Optimization desde el objetivo de RL con KL, y la implementamos en PyTorch.25′
    4. Constitutional AI y RLAIFCómo reemplazar parte del feedback humano por feedback de IA guiado por un conjunto explícito de principios: crítica y revisión supervisada, y RL desde feedback de IA.20′
    5. Interpretabilidad mecanicistaFeatures, circuitos y superposición: por qué las neuronas individuales son difíciles de interpretar y cómo los sparse autoencoders recuperan conceptos legibles.25′
    6. Evaluaciones y supervisión escalableRed teaming, evals de capacidades y de comportamiento, debate y generalización weak-to-strong: cómo medir y supervisar sistemas que en algunas tareas nos superan.22′

Al terminar podrás

  • Distinguir outer alignment, inner alignment y specification gaming con ejemplos concretos
  • Derivar la pérdida de Bradley-Terry del reward model y el objetivo de PPO con penalización KL
  • Derivar la pérdida de DPO desde el objetivo de RL restringido por KL e implementarla en PyTorch
  • Explicar el pipeline de Constitutional AI (SL-CAI + RLAIF) y sus trade-offs
  • Entender superposición y cómo los sparse autoencoders extraen features interpretables
  • Evaluar críticamente propuestas de supervisión escalable: debate, red teaming y weak-to-strong