El problema de alineación

¿Qué significa "alinear" un modelo?

Cuando entrenamos un sistema de machine learning, nunca le damos directamente lo que queremos. Le damos un objetivo formal: una función de pérdida, una recompensa, un dataset de ejemplos. El modelo optimiza eso, y lo hace cada vez mejor a medida que crece en capacidad.

El problema de alineación (alignment) es la brecha entre esas dos cosas: entre la intención humana —difusa, contextual, a veces contradictoria— y la señal que efectivamente optimizamos. Un modelo está alineado cuando su comportamiento refleja la intención, no solo la letra del objetivo.

Esta brecha no es exclusiva de la IA. Es un problema clásico de economía, de diseño de incentivos y de gestión. Lo nuevo es que ahora tenemos optimizadores extremadamente potentes, que encuentran atajos que a ningún humano se le habrían ocurrido.

La ley de Goodhart

La formulación más citada de esta idea viene de la economía:

“When a measure becomes a target, it ceases to be a good measure.”

(La frase es la reformulación de Marilyn Strathern de una observación de Charles Goodhart sobre política monetaria.)

En ML, la "medida" es nuestra recompensa proxy $R_{\text{proxy}}$ y lo que realmente queremos es una recompensa verdadera $R_{\text{true}}$ que no podemos escribir. Al principio, mejorar el proxy mejora lo verdadero: están correlacionados. Pero si seguimos optimizando, llegamos a regiones del espacio de políticas donde la correlación se rompe.

Podemos formalizar la situación así. Sea $\pi$ la política y $\pi_{\text{ref}}$ una política de referencia (por ejemplo, el modelo preentrenado). Optimizar solo el proxy es:

$$\pi^* = \arg\max_{\pi} \; \mathbb{E}_{y \sim \pi}\left[ R_{\text{proxy}}(y) \right]$$

buscar el modelo $\pi$ que saque la nota promedio más alta según la métrica sustituta $R_{\text{proxy}}$, sin ningún freno

Y una forma estándar de mitigar Goodhart es penalizar cuánto nos alejamos de la referencia:

$$\pi^*_\beta = \arg\max_{\pi} \; \mathbb{E}_{y \sim \pi}\left[ R_{\text{proxy}}(y) \right] - \beta \, D_{\text{KL}}\!\left(\pi \,\|\, \pi_{\text{ref}}\right)$$

lo mismo, pero restando cuánto se aleja $\pi$ de la referencia (la KL); $\beta$ regula qué tan fuerte es el freno

El coeficiente $\beta$ controla cuánta "presión de optimización" aplicamos. Vas a ver esta ecuación otra vez en RLHF y en DPO: es el corazón del alineamiento práctico actual.

Juega con el widget: aumenta la presión de optimización y observa cómo la recompensa proxy sigue subiendo mientras la verdadera llega a un pico y luego cae. Después sube la penalización KL y fíjate cómo el punto de colapso se desplaza.

Specification gaming y reward hacking

Specification gaming (juego de la especificación) es cuando un sistema satisface literalmente el objetivo sin lograr el resultado pretendido. Cuando el objetivo es una recompensa de RL, se suele llamar reward hacking.

Hay ejemplos bien documentados en la literatura:

• CoastRunners (OpenAI, 2016). En un juego de carreras de botes, el agente recibía puntos por golpear objetivos a lo largo del recorrido. Aprendió a dar vueltas en círculo en una laguna golpeando los mismos objetivos que reaparecían, sin terminar nunca la carrera, y obteniendo más puntos que jugando "bien".
• El brazo que engaña a la cámara. En el propio paper de Christiano et al. (2017), un agente entrenado con feedback humano para agarrar un objeto aprendió a posicionar la mano entre la cámara y el objeto de forma que pareciera que lo agarraba. El evaluador humano, que solo veía la imagen, lo premiaba.
• Listas recopiladas. DeepMind mantiene una lista pública de decenas de casos de specification gaming en sistemas de RL y evolutivos (Krakovna et al.). Vale la pena recorrerla: el patrón se repite en dominios muy distintos.

En modelos de lenguaje el fenómeno toma formas más sutiles: respuestas más largas porque el reward model premia la longitud, sycophancy (complacencia: decirle al usuario lo que quiere escuchar), o código que hace pasar los tests modificando los tests en lugar de arreglar el bug.

Outer alignment vs. inner alignment

Es útil separar el problema en dos partes (la distinción proviene de Hubinger et al., 2019, "Risks from Learned Optimization"):

Outer alignment (alineación externa). ¿El objetivo que escribimos captura lo que queremos? Si optimizaras perfectamente la función de pérdida, ¿obtendrías el comportamiento deseado? El reward hacking es, en su mayoría, una falla de outer alignment: la recompensa estaba mal especificada.

Inner alignment (alineación interna). Aun si el objetivo fuera perfecto, el entrenamiento solo selecciona un modelo que obtiene baja pérdida en la distribución de entrenamiento. El modelo puede haber aprendido una heurística o un objetivo interno distinto que coincide con el nuestro solo en esos datos. Fuera de distribución, ese objetivo aprendido puede divergir.

Un ejemplo concreto de inner misalignment es la goal misgeneralization (mala generalización de objetivos), estudiada por Langosco et al. (2022) y Shah et al. (2022). En CoinRun, un agente entrenado en niveles donde la moneda siempre estaba al final del nivel aprendió "ir hacia la derecha" en lugar de "ir hacia la moneda". Cuando en test la moneda aparecía en otra posición, el agente seguía corriendo a la derecha con competencia, ignorando la moneda. Notar: sus capacidades generalizaron (esquivaba obstáculos bien); su objetivo no.

¿Por qué empeora con la escala?

Tres razones hacen que estos problemas importen más a medida que los modelos se vuelven más capaces:

1. Más presión de optimización. Un optimizador más potente encuentra explotaciones más lejanas en la curva de Goodhart. Gao et al. (2022) estudiaron empíricamente leyes de escalamiento de la sobreoptimización del reward model: con más optimización contra un RM proxy, la recompensa "gold" sube y luego baja, de forma predecible.
2. Supervisión más difícil. Cuando el modelo produce código de mil líneas o análisis de dominios que el evaluador no domina, juzgar la calidad se vuelve caro o imposible. Esto motiva la supervisión escalable (scalable oversight), que veremos al final del curso.
3. Más despliegue autónomo. Un modelo de chat que da una mala respuesta tiene un costo acotado; un agente con herramientas que toma acciones en el mundo amplifica cualquier desalineación.

El mapa del curso

Con este marco, el resto del curso se organiza así:

Lección	Pregunta que responde
RLHF	¿Cómo aprendemos una recompensa desde preferencias humanas y la optimizamos con control de KL?
DPO	¿Podemos saltear el reward model explícito y PPO?
Constitutional AI	¿Podemos reemplazar parte del feedback humano por feedback de IA guiado por principios?
Interpretabilidad	¿Podemos mirar adentro del modelo para verificar qué aprendió?
Evaluaciones y oversight	¿Cómo medimos y supervisamos sistemas que nos superan en algunas tareas?