RLHF: aprender de preferencias humanas

La idea central

Muchas veces no sabemos escribir una función de recompensa, pero sí sabemos comparar. Es difícil definir qué es "un buen resumen", pero si te muestro dos resúmenes, puedes decir cuál prefieres. Comparar es más fácil y más consistente entre personas que puntuar en escala absoluta.

RLHF (Reinforcement Learning from Human Feedback, aprendizaje por refuerzo desde feedback humano) explota esto en dos pasos: primero aprende una función de recompensa a partir de comparaciones humanas, y después optimiza una política contra esa recompensa aprendida.

Christiano et al. (2017): el origen moderno

El paper Deep Reinforcement Learning from Human Preferences mostró que este esquema funciona en entornos de control (MuJoCo) y en juegos de Atari. El loop era:

1. La política actual genera pares de segmentos de trayectoria (clips cortos).
2. Un humano indica cuál de los dos clips prefiere.
3. Un reward model $\hat r$ se entrena para predecir esas preferencias.
4. La política se optimiza con RL contra $\hat r$.
5. Se repite, consultando al humano en los pares más informativos.

El resultado notable fue la eficiencia: comportamientos complejos (como que un robot simulado haga una voltereta hacia atrás) se aprendieron con del orden de cientos a pocos miles de consultas humanas, una fracción mínima de las interacciones del agente con el entorno.

El modelo de Bradley-Terry

¿Cómo convertimos comparaciones en una recompensa escalar? Asumimos que existe una recompensa latente $r(x, y)$ para un prompt $x$ y una respuesta $y$, y que la probabilidad de que un humano prefiera $y_w$ (winner) sobre $y_l$ (loser) sigue el modelo de Bradley-Terry:

donde $\sigma$ es la función sigmoide. Solo importa la diferencia de recompensas: sumarle una constante a $r$ no cambia nada. Esto es importante para DPO, en la próxima lección.

Parametrizamos $r_\phi$ con una red (en LLMs, típicamente el mismo transformer con una cabeza lineal que produce un escalar) y maximizamos la verosimilitud del dataset de comparaciones $\mathcal{D}$:

para cada par de respuestas, que el reward model $r_\phi$ le ponga más nota a la que eligió la persona ($y_w$) que a la otra ($y_l$). $\sigma$ convierte esa diferencia en una probabilidad

Es una regresión logística sobre diferencias. En código:

import torch
import torch.nn.functional as F

def reward_model_loss(r_chosen: torch.Tensor, r_rejected: torch.Tensor) -> torch.Tensor:
    """
    r_chosen, r_rejected: tensores de forma (batch,) con la recompensa escalar
    que el reward model asigna a la respuesta preferida y a la rechazada.
    """
    # -log σ(r_w - r_l), usando logsigmoid por estabilidad numérica
    return -F.logsigmoid(r_chosen - r_rejected).mean()

InstructGPT: el pipeline de tres etapas

Ouyang et al. (2022) aplicaron RLHF a GPT-3 y establecieron el pipeline que, con variaciones, se convirtió en estándar:

Etapa 1 — SFT (Supervised Fine-Tuning). Etiquetadores escriben demostraciones de respuestas ideales para prompts reales. Se hace fine-tuning supervisado del modelo preentrenado. Resultado: $\pi^{\text{SFT}}$.

Etapa 2 — Reward model. Para cada prompt, se muestrean varias respuestas de $\pi^{\text{SFT}}$ y los etiquetadores las ordenan. Un ranking de $K$ respuestas genera $\binom{K}{2}$ comparaciones por pares. InstructGPT usó $K$ entre 4 y 9, y trató todas las comparaciones de un mismo prompt como un solo elemento del batch para evitar overfitting (las comparaciones de un prompt están muy correlacionadas).

Etapa 3 — RL con PPO. Se optimiza la política contra el reward model con PPO (Proximal Policy Optimization), con una penalización por alejarse del modelo SFT.

El resultado más citado: los evaluadores humanos prefirieron las salidas del modelo InstructGPT de 1.3B parámetros sobre las de GPT-3 de 175B. Alinear el comportamiento con la intención del usuario rindió más que dos órdenes de magnitud de escala.

El objetivo de RL con penalización KL

La recompensa que optimiza PPO en InstructGPT no es solo $r_\phi$. Es:

la nota que se optimiza: la del reward model, menos una multa por cuánto más probable hace la política actual esa respuesta que el modelo SFT

El segundo término es, en esperanza, la divergencia KL entre la política actual y la de SFT. El objetivo completo es:

en resumen: maximizar la nota del reward model sin alejarse demasiado del modelo SFT; $\beta$ pesa esa distancia (la KL)

Es exactamente la ecuación de Goodhart de la lección anterior, con el reward model como proxy y el modelo SFT como referencia. La penalización KL cumple dos funciones:

1. Anti-Goodhart. El reward model fue entrenado con respuestas de $\pi^{\text{SFT}}$. Lejos de esa distribución, sus predicciones no son confiables. La KL mantiene a la política en la zona donde el RM sabe de qué habla.
2. Anti-colapso. Sin KL, la política tiende a colapsar en unas pocas respuestas de alta recompensa (pérdida de diversidad) o a generar texto degenerado que explota al RM.

InstructGPT además mezcló gradientes de preentrenamiento (la variante "PPO-ptx") para mitigar la alignment tax (impuesto de alineación): las caídas de rendimiento en benchmarks académicos que aparecían tras RLHF.

PPO en dos párrafos

PPO es un algoritmo de policy gradient que evita actualizaciones demasiado grandes. Define el ratio $\rho_t(\theta) = \pi_\theta(a_t \mid s_t) / \pi_{\theta_{\text{old}}}(a_t \mid s_t)$ y optimiza un objetivo "recortado":

donde $\hat A_t$ es una estimación de la ventaja (cuánto mejor fue la acción que el promedio), típicamente con GAE y una value network (red de valor) entrenada en paralelo. En LLMs cada token es una acción, el estado es el prompt más los tokens generados, y la recompensa del RM llega solo al final de la secuencia, mientras la penalización KL se aplica por token.

En la práctica, RLHF con PPO implica tener en memoria cuatro modelos: la política, la referencia, el reward model y la value network. Es caro, inestable y sensible a hiperparámetros. Esa fricción es la motivación directa de DPO.

Límites conocidos de RLHF

• Calidad del evaluador. La señal es tan buena como el juicio humano. Si los evaluadores no pueden detectar errores sutiles (código con bugs, afirmaciones fácticas incorrectas pero convincentes), el RM aprende a premiar lo convincente.
• Sycophancy. Hay evidencia empírica (por ejemplo, Sharma et al., 2023) de que modelos entrenados con RLHF tienden a coincidir con las opiniones expresadas por el usuario, un patrón coherente con que los evaluadores prefieren respuestas que les dan la razón.
• Sobreoptimización del RM. Con suficiente presión, la política explota al RM (Gao et al., 2022).
• Agregación de preferencias. Un único RM escalar promedia preferencias de muchas personas que pueden no estar de acuerdo. ¿Las preferencias de quién estamos optimizando?