Saltar al contenido
← Catálogo
AvanzadoRLHFPapersAlineaciónPyTorch

InstructGPT

De GPT-3 a un modelo que sigue instrucciones, paso por paso

El paper que convirtió a GPT-3 en un modelo que sigue instrucciones, de punta a punta: datos, SFT, reward model, PPO y PPO-ptx, y cómo se evaluó. Cada paso reimplementado en chico.

Empezar curso →10 lecciones · 2 h 42 min de lectura activa

Temario

  1. Módulo 1 · El problema y los datos

    1. El problemaUn modelo enorme que no hace lo que le pedís, y la pregunta del paper15′
    2. Los datosDe dónde salen los prompts, cuántos hay en cada paso y quién etiqueta16′

  2. Módulo 2 · El pipeline

    1. Paso 1: SFTDieciséis epochs, overfitting a propósito y un checkpoint elegido por otra métrica17′
    2. Paso 2: el reward modelRankings de K respuestas, C(K,2) comparaciones y un batch por prompt15′
    3. Paso 3: PPO y PPO-ptxEl freno de KL por token, la función de valor y el término de preentrenamiento17′

  3. Módulo 3 · Resultados y límites

    1. Cómo se evaluóWin rate con su intervalo, veracidad y toxicidad: los números del paper y cómo se calculan17′
    2. El impuesto de alineaciónQué benchmarks empeoran con PPO, cuánto devuelve PPO-ptx, y un experimento de juguete que lo muestra16′
    3. Los límites del paperA quién se alinea, las fallas que el paper muestra y lo que dejó abierto, con sus propias palabras17′

  4. Módulo 4 · En chico, y lo que vino después

    1. El pipeline entero, en chicoSFT, reward model y PPO-ptx encadenados en un modelo de juguete, con dos jueces y un reward hacking16′
    2. Lo que vino despuésDe InstructGPT a DPO y a Constitutional AI: qué pieza del pipeline cambia cada uno16′