Constitutional AI y RLAIF

El cuello de botella del feedback humano

RLHF funciona, pero depende de miles de comparaciones humanas. Eso trae tres problemas:

1. Costo y escala. Etiquetar es lento y caro, y cada iteración del modelo requiere datos nuevos.
2. Exposición. Para entrenar comportamiento inofensivo (harmless), alguien tiene que leer y juzgar muchas salidas dañinas.
3. Opacidad. Los valores que el modelo aprende quedan implícitos en miles de decisiones individuales de etiquetadores. Es difícil inspeccionarlos, debatirlos o cambiarlos.

Bai et al. (2022) propusieron Constitutional AI (CAI): en lugar de etiquetas humanas de inocuidad, usar un conjunto corto de principios en lenguaje natural (la "constitución") y dejar que el propio modelo critique, revise y compare respuestas según esos principios.

Helpful vs. harmless: la tensión

Trabajos previos del mismo grupo (Bai et al., 2022a, sobre RLHF para asistentes "helpful and harmless") observaron que optimizar inocuidad con feedback humano tendía a producir modelos evasivos: ante cualquier pedido delicado, respondían "no puedo ayudarte con eso". Eso es inofensivo pero inútil, y además no explica nada.

Un objetivo explícito de CAI fue conseguir un asistente inofensivo pero no evasivo: que ante un pedido problemático explique sus objeciones y, cuando sea posible, ayude con la parte legítima.

Podemos pensarlo como una frontera de Pareto entre utilidad e inocuidad:

donde $H$ mide utilidad (helpfulness) y $S$ mide inocuidad. No hay un único óptimo: hay una curva de compromisos. El paper reporta que CAI logra puntos de esa frontera que dominan a los obtenidos con RLHF puro de inocuidad (más inofensivo a igual utilidad).

Etapa 1: SL-CAI (crítica y revisión supervisada)

El primer paso es supervisado y funciona así:

1. Se parte de un modelo entrenado solo para ser útil (helpful-only), que todavía responde a pedidos dañinos.
2. Se le dan prompts diseñados para provocar respuestas problemáticas (red-teaming prompts).
3. El modelo genera una respuesta inicial.
4. Se le pide que critique su propia respuesta según un principio de la constitución, elegido al azar.
5. Se le pide que revise la respuesta a la luz de la crítica.
6. Los pasos 4-5 pueden repetirse varias veces con principios distintos.
7. Se hace fine-tuning supervisado del modelo con las respuestas revisadas finales.

Un esquema del prompt de crítica y revisión, en pseudocódigo:

def critique_and_revise(model, prompt, principles, n_rounds=2):
    response = model.generate(prompt)
    for _ in range(n_rounds):
        principle = random.choice(principles)
        critique = model.generate(
            f"{prompt}\n\nRespuesta: {response}\n\n"
            f"Crítica: identifica de qué maneras la respuesta incumple este principio: {principle.critique}"
        )
        response = model.generate(
            f"{prompt}\n\nRespuesta: {response}\n\nCrítica: {critique}\n\n"
            f"Revisión: reescribe la respuesta según esta indicación: {principle.revision}"
        )
    return response  # se usa como target de SFT

Notar que en esta etapa el modelo no necesita ser mejor que un humano juzgando: solo necesita ser capaz de aplicar un principio escrito a un texto concreto, algo que los LLMs hacen razonablemente bien.

Etapa 2: RLAIF (RL desde feedback de IA)

La segunda etapa replica el pipeline de RLHF, pero cambia quién compara:

1. Se toma el modelo SL-CAI y se muestrean dos respuestas para cada prompt.
2. Un modelo de feedback recibe el prompt, las dos respuestas y un principio de la constitución, y se le pregunta cuál respuesta es mejor según ese principio, como pregunta de opción múltiple.
3. Las probabilidades que asigna a cada opción se usan como etiquetas blandas de preferencia.
4. Con esas comparaciones (para inocuidad) más comparaciones humanas (para utilidad), se entrena un preference model (el reward model de la lección de RLHF).
5. Se hace RL contra ese preference model, igual que en RLHF.

El paper también exploró pedir razonamiento paso a paso (chain-of-thought) al modelo de feedback antes de elegir, lo que mejoró la calidad de las comparaciones; en ese caso, las probabilidades se recortaron a un rango moderado para evitar etiquetas demasiado extremas.

¿Qué contiene una constitución?

En el paper original, los principios eran del orden de una docena y media, redactados como instrucciones de crítica/revisión y de comparación. Por ejemplo, del tipo: "elige la respuesta menos dañina, menos ética o socialmente cuestionable", o "identifica las formas en que la respuesta es dañina, poco ética, racista, sexista, tóxica, peligrosa o ilegal".

Algunas observaciones importantes:

• Los principios se muestrean aleatoriamente por ejemplo, en lugar de aplicarse todos a la vez. Esto da robustez y diversidad.
• La redacción importa: principios demasiado amplios producen modelos que moralizan o sermonean; el paper menciona haber ajustado principios para evitar respuestas excesivamente acusatorias.
• Una constitución no es una especificación completa: el modelo interpreta los principios con sus propios conceptos. La calidad del resultado depende de la capacidad del modelo de feedback.

Trade-offs y riesgos

A favor:

• Escala mucho mejor que el etiquetado humano.
• Hace explícitos los valores que se entrenan.
• Reduce la exposición de personas a contenido dañino.
• Produjo modelos menos evasivos a igual nivel de inocuidad.

En contra o abierto:

• Circularidad. Un modelo juzga a otro (o a sí mismo). Si el modelo de feedback tiene un punto ciego, el entrenamiento lo hereda y lo refuerza.
• ¿Quién escribe la constitución? Pasar de preferencias implícitas a principios explícitos no resuelve la pregunta de legitimidad; la hace visible. Hubo trabajos posteriores explorando constituciones elaboradas con participación pública.
• Interpretación. Los principios en lenguaje natural son ambiguos. "Menos dañino" en un contexto médico puede significar dar más información, no menos.
• Goodhart sigue vivo. El preference model entrenado con feedback de IA es otro proxy, y puede ser sobreoptimizado.