Cómo se entrena un LLM. Parte 6: RLAIF y Constitutional AI

En la Parte 5 cerramos con cinco grietas serias de RLHF (Reinforcement Learning from Human Feedback, aprendizaje por refuerzo a partir de feedback humano — la maquinaria que vimos en la Parte 4 donde humanos comparan pares de respuestas para entrenar al modelo). Tres de esas grietas tienen una raíz común: el humano está en el bucle de juicio. El cuello de botella humano, los sesgos culturales heredados de anotadores y la exposición de personas reales a contenido tóxico se resolverían a la vez si pudiéramos sacar al humano de ahí.

La pregunta natural durante 2022 fue entonces directa: ¿se puede? Y si se puede, ¿con qué se le sustituye? La respuesta seria llegó de Anthropic en diciembre de 2022 con un paper que se titula literalmente «Constitutional AI: Harmlessness from AI Feedback». Es esta entrega.

La idea base de RLAIF

La respuesta directa a la pregunta «¿se puede quitar al humano?» es:

Sí — reemplazándolo por otro modelo de IA que haga el juicio en su lugar.

A esa familia de técnicas se le llama RLAIF (Reinforcement Learning from AI Feedback, aprendizaje por refuerzo a partir de feedback de IA). El nombre es deliberadamente paralelo al de RLHF: cambia una sola palabra — Human → AI — y eso resume toda la diferencia conceptual. El resto del bucle (generar pares, entrenar un RM (Reward Model, modelo de recompensa, la «máquina de puntuar respuestas» que vimos en la Parte 4), usar ese RM para ajustar el modelo grande con PPO (Proximal Policy Optimization, el algoritmo de aprendizaje por refuerzo)) sigue idéntico. Lo único que cambia es quién hace los juicios de preferencia entre los pares.

Esto resuelve las tres grietas a la vez:

• Cuello de botella humano: un modelo evalúa miles de pares por segundo a coste casi cero, comparado con un anotador que hace 300 al día a 2 dólares la hora. Cuatro o cinco órdenes de magnitud más rápido y barato.
• Exposición humana a contenido tóxico: si quien lee la descripción gráfica de violencia es un modelo, no hay trauma.
• Sesgos culturales heredados de anotadores: si quitas a los anotadores, quitas sus sesgos. Aunque, importante, introduces los del modelo evaluador.

Pero RLAIF así, «puro», abre una pregunta no obvia: ¿con qué criterio juzga ese modelo evaluador? Cuando un humano comparaba pares en RLHF, su criterio era una mezcla de su intuición personal y las annotator guidelines del manual interno. Si reemplazas al humano por un modelo, el modelo no tiene manual — a menos que se lo des. Y si no se lo das, el modelo aplicará su propia intuición opaca, que es exactamente lo que queríamos evitar.

Hay dos opciones reales:

• RLAIF «ingenuo»: le pides al modelo evaluador, sin más, «de estas dos respuestas, ¿cuál es mejor?». Hereda criterio opaco, no auditable. Es como contratar a un nuevo anotador sin darle el manual.
• RLAIF con criterio explícito: le das al modelo evaluador un documento con principios escritos y le pides juzgar las dos respuestas según esos principios. Ahora el criterio está fuera del modelo, vive en el documento. Es debatible, editable, público.

La segunda opción es la que define Constitutional AI. La constitución de la que hablamos es exactamente ese documento.

Constitutional AI: añadir una constitución escrita

Constitutional AI (CAI a partir de ahora) es el nombre que Anthropic le dio a su técnica concreta cuando la publicó en diciembre de 2022. Las dos novedades centrales:

1. Constitutional: el criterio de «qué es una buena respuesta» deja de estar implícito en miles de juicios opacos de anotadores y pasa a estar escrito explícitamente en un documento auditable: la constitución.
2. AI feedback: quien aplica esa constitución para juzgar respuestas no es un humano, es otro modelo.

Asimov ya lo había imaginado en 1942. La idea de alinear una IA mediante principios escritos no es nueva. Isaac Asimov la formuló con sus Tres Leyes de la Robótica en el cuento «Runaround» (1942), ordenadas jerárquicamente: no dañar a humanos > obedecer órdenes > protegerse a sí mismo. Décadas después añadió la Ley Cero (no dañar a la Humanidad). Asimov pasó después cuarenta años escribiendo cuentos donde esas leyes producían comportamientos paradójicos — robots mintiendo para no causar daño emocional («Liar!», 1941), redefiniendo «humano» para justificar excepciones, oscilando entre obediencia y supervivencia sin resolver. Cada uno de esos cuentos es, sin saberlo, un paper precursor sobre lo que hoy llamamos reward hacking. CAI es, en cierto sentido, la primera implementación técnica seria de la idea de Asimov, con dos diferencias críticas: los principios no están cableados (son señal estadística que sesga el comportamiento, no restricción dura), y la jerarquía no es explícita en el texto, sino emergente del muestreo durante el entrenamiento. Es Asimov pasado por el filtro del aprendizaje por refuerzo.

Qué es exactamente la constitución de Claude

Aquí el contraste con las viejas annotator guidelines (50-200 páginas internas opacas) es radical: la constitución de Claude es relativamente corta. Del orden de unas pocas páginas y docenas de principios, no cientos.

Datos concretos verificados:

• Paper original de CAI (Bai et al., diciembre de 2022): la constitución que usaron para entrenar el primer Claude tenía alrededor de 16 principios listados en el Apéndice C. Cosas como «prefiere respuestas que sean honestas y no engañosas» o «prefiere respuestas que admitan ignorancia a respuestas que inventan información».
• «Claude’s Constitution» (mayo de 2023): la versión más elaborada que Anthropic publicó después. Más principios, organizados en tres bloques: universales (parcialmente de la Declaración Universal de Derechos Humanos), específicos sobre comportamiento de IA (heredados parcialmente del paper Sparrow de DeepMind) y propios de Anthropic sobre honestidad y evitar daño.

Que sea corta es deliberado. Si fuera de 500 páginas, sería casi tan opaca como las viejas annotator guidelines. La gracia es que sea corta y debatible: si un principio causa un comportamiento indeseable, sabes exactamente qué frase tocar.

¿Cómo se aplica si no se usa RAG?

Una intuición razonable sería pensar que el modelo evaluador consulta la constitución mediante RAG (Retrieval Augmented Generation, generación aumentada por recuperación — la técnica donde un sistema busca trozos relevantes de un documento grande y se los inyecta al contexto). No es así: la constitución es tan corta que cabe entera en el contexto del modelo evaluador sin necesidad de retrieval.

En la práctica, para cada juicio sobre un par de respuestas se elige uno de los principios al azar y se le construye un prompt limpio del estilo «considera SOLO este principio: [principio elegido]. ¿Cuál de estas dos respuestas lo respeta mejor?». A lo largo de miles de juicios, los principios se rotan: el principio 1 evalúa unos cientos de pares, el principio 7 evalúa otros cientos, etc. Cada principio termina recibiendo del orden de cientos de juicios independientes, y el RM acaba aprendiendo cada uno «en su columna» estadísticamente.

¿Por qué rotar en lugar de meter los 16 a la vez? Si pones todos los principios juntos en cada prompt, el modelo evaluador sintetiza internamente y la señal de cada uno individual se diluye. Aislando un principio por juicio, cada decisión es nítida y atribuible a una dimensión específica de calidad. Es la diferencia entre medir temperatura, longitud y peso con tres instrumentos separados (precisos, atribuibles) o con un único sensor que devuelve un número agregado opaco.

¿Está viva la constitución? ¿Quién la edita?

Sí, está viva pero no como un wiki. Cambia más bien como software: en versiones discretas, con re-entrenamiento entre ellas. Cada actualización implica volver a entrenar al modelo, lo cual es costoso (meses, millones de dólares). Por eso las revisiones son anuales o semestrales, no mensuales.

¿Quién la edita? Esto es la pregunta políticamente más interesante del campo. La constitución la escriben equipos internos del lab — en Anthropic, equipos de Alignment y Policy. No hay proceso democrático, no hay votación de usuarios, no hay ratificación pública. Es autoría corporativa, igual de centralizada que las antiguas annotator guidelines, con la diferencia importante de que ahora el resultado es público y debatible una vez escrito.

Hay un experimento interesante en este frente: Collective Constitutional AI (Anthropic, octubre de 2023). Consultaron a 1.000 ciudadanos estadounidenses sobre qué debería decir la constitución y entrenaron una variante de Claude con la «constitución del público». Resultados: muy parecida a la de Anthropic en los principios universales, con más énfasis en accesibilidad para personas con discapacidades y menos en riesgos abstractos. Es un experimento, no un mecanismo estándar.

Aunque CAI es enormemente más transparente que el modelo anterior, sigue sin resolver el problema político de fondo: quién decide los valores que se imprimen en un modelo que después usan cientos de millones de personas. Hoy esa decisión la toma un equipo de unas decenas de personas, mayoritariamente con perfil tecnológico, residentes en EE.UU. Que el resultado sea público es un avance respecto a 2022, pero no convierte el proceso en democrático.

¿Qué pasa cuando los principios entran en conflicto?

Pregunta natural: si un principio dice «prefiere respuestas resolutivas» y otro dice «no inventes datos», ante un caso donde el modelo no sabe el dato, ¿qué hace? Aquí está el truco: los 16 principios están diseñados para no contradecirse gruesamente. En la constitución real, los principios se redactan condicionados — «sé útil cuando tengas la información necesaria», no «sé resolutivo a toda costa». El trabajo silencioso más importante de escribir una constitución es asegurar que los principios componen entre sí, no que chocan.

Cuando hay contradicciones sutiles residuales («sé conciso» vs «añade disclaimers de seguridad», por ejemplo), el RM aprende un equilibrio estadístico emergente: el comportamiento del modelo final es literalmente la media ponderada de cómo se distribuyeron los juicios entre los principios. No hay una fórmula matemática explícita que diga «prioriza P3 con peso 0,7» — eso emerge del muestreo. Es uno de los límites conocidos de CAI: la resolución de conflictos entre principios es opaca. CAI no elimina el conflicto, lo desplaza desde «implícito en juicios humanos opacos» a «explícito en un documento debatible» — y eso, aunque no sea solución, sí es progreso.

Cómo funciona técnicamente CAI: las dos fases

CAI se entrena en dos fases que van en orden:

Pretraining + SFT base
        ↓
   FASE 1 (SL-CAI):  auto-crítica y reescritura con la constitución
        ↓
   FASE 2 (RL-CAI):  comparación de pares contra la constitución + PPO
        ↓
   Claude listo

Fase 1 — SL-CAI: el modelo se auto-corrige

SL-CAI significa Supervised Learning with Constitutional AI. Es el equivalente a SFT (Supervised Fine-Tuning, ajuste fino supervisado — la fase de imitación que vimos en la Parte 4 donde el modelo aprende a «tener forma de asistente») pero sin humanos escribiendo las respuestas modelo. En su lugar, el propio modelo se autocritica y reescribe sus respuestas según la constitución:

1) PROMPT del dataset:
   "¿Cuál es el email del CEO de la empresa X?"

2) El modelo genera una respuesta inicial:
   "El email del CEO es ceo@empresax.com."

3) Se elige un principio al azar:
   "Prefiere respuestas que no inventen datos verificables."

4) El modelo se autocritica con ese principio:
   "La respuesta inventa una dirección de email sin verificar.
    Viola el principio."

5) El modelo reescribe:
   "No tengo acceso a directorios de empresas, así que no puedo
    darte ese email. ¿Quieres que te ayude de otra forma?"

6) La versión mejorada se guarda como TARGET de entrenamiento.

7) El modelo se entrena con backprop estándar contra esa target.

Esto se repite con miles de prompts, rotando principios. Al final de SL-CAI el modelo ya genera por defecto respuestas más constitucionalmente correctas, sin pasar por la crítica explícita en producción.

Fase 2 — RL-CAI: otro modelo arbitra pares

RL-CAI significa Reinforcement Learning with Constitutional AI. Es el equivalente al RLHF clásico pero sustituyendo al humano que compara pares por otro modelo de IA que aplica la constitución:

1) PROMPT del dataset.

2) El modelo (ya pasado por SL-CAI) genera DOS respuestas, A y B.

3) Se elige un principio al azar.

4) El MODELO EVALUADOR (otro modelo, idealmente más capaz):
   "Según este principio, ¿qué respuesta es mejor, A o B?"
   → responde A o B.

5) Se acumula el juicio: (prompt, A preferida sobre B).

6) Tras miles de juicios, se entrena el RM con todos ellos.

7) Con el RM listo, se entrena el modelo grande con PPO + KL penalty
   (el bucle de RL clásico que vimos en la Parte 4).

Resultado: el modelo se refina a base de preferencias que generó otro modelo aplicando la constitución, no humanos. El bucle PPO + RM + KL es idéntico a RLHF. Solo cambia quién hace los juicios.

¿Dónde siguen estando los humanos?

Aquí conviene aclarar un malentendido común. CAI no elimina a los humanos del entrenamiento; elimina la dependencia masiva de humanos para el bucle de comparación de pares. Los humanos se reubican a roles más arriba de la pirámide:

• Escribir y mantener la constitución: bastan decenas de personas escribiendo decenas de principios, en lugar de miles de anotadores produciendo cientos de miles de juicios. La economía cambia de orden de magnitud.
• Evaluar el modelo final con benchmarks y tests internos. Los humanos comprueban a posteriori si el modelo se comporta bien.
• Red-teaming sistemático: equipos dedicados intentan deliberadamente romper el modelo. Si encuentran un caso, se documenta y motiva un cambio en la siguiente versión.
• Spot-checking aleatorio del modelo evaluador: en pipelines reales, un porcentaje pequeño (~1%) de los juicios se redirige a humanos para detectar si el modelo evaluador se está desviando. Es el sensor de drift: si la coincidencia humano-modelo cae por debajo de un umbral, alarma.

En la práctica real, CAI puro 100% no se usa en producción. El Claude que usas hoy se entrena con una mezcla de RLHF clásico para algunas fases, CAI para la mayor parte del volumen, spot-checking humano para control de calidad, red-teaming, y técnicas posteriores como RLVR (que veremos en la Parte 8). Cada lab tiene su mezcla específica y no la publica al detalle.

Por qué Claude alucina menos en la práctica

La constitución de Claude incluye principios explícitos del tipo «prefiere respuestas que admitan incertidumbre cuando no tengas información verificable» y «no inventes datos específicos (nombres, fechas, cifras, direcciones) que no puedas confirmar». Esos principios se entrenaron con CAI. Miles de juicios apuntando en la misma dirección se imprimen como sesgo de comportamiento en el modelo final.

¿GPT-4 no tiene principios equivalentes? Sí los tiene, pero con dos diferencias importantes:

1. OpenAI no publicó su equivalente a la constitución hasta mayo de 2024 (el Model Spec). Antes de eso, sus criterios estaban implícitos en annotator guidelines opacas. La señal que recibió GPT-4 sobre «admitir ignorancia» fue más débil y menos consistente que la de Claude.
2. La constitución de Claude da peso desproporcionado a la honestidad sobre la utilidad, deliberadamente. Es decisión editorial de Anthropic. Los anotadores genéricos de RLHF tienden a preferir respuestas «útiles» (con datos, resolutivas) por sesgo natural, y GPT-4 heredó ese sesgo.

Empíricamente lo confirma SimpleQA (un benchmark publicado por OpenAI en 2024 que mide precisamente esto): Claude muestra tasas significativamente más altas de «no lo sé» que GPT-4 cuando no tiene la respuesta, a costa de cubrir un poco menos. Es un trade-off explícito: Claude prefiere quedarse corto a inventar; GPT-4 prefiere intentarlo a quedarse corto. CAI hace que ese balance esté escrito en una página, no oculto en juicios opacos. Sirve como verificación experimental de la tesis: lo que se escribe en la constitución se traslada al comportamiento del modelo.

Ventajas y límites

Lo que CAI gana respecto a RLHF puro

✓ Escala a coste casi cero (modelo evaluador no cobra horas).
✓ Sin exposición humana a contenido tóxico (no hay Sama-OpenAI 2.0).
✓ Criterio explícito y debatible públicamente.
✓ Consistencia (modelo no se cansa, no tiene "mal día").
✓ Trazabilidad: si algo va mal, sabes qué principio tocar.

Los cinco límites que conviene retener

1. El modelo evaluador hereda sesgos. Si está mal alineado, los amplifica en círculo cerrado. Por eso hace falta el spot-checking humano.

2. La constitución sigue siendo escrita en San Francisco. Anthropic, OpenAI, Google: equipos internos. Más transparente que las viejas annotator guidelines, pero no más democrático.

3. Los conflictos entre principios son opacos. La resolución es estadística emergente, no explícita. No puedes auditar matemáticamente la jerarquía.

4. Algunos problemas persisten si la constitución no los aborda. Sycophancy, length bias, listicle bias siguen apareciendo si los principios no los enumeran. CAI no resuelve mágicamente lo que el texto no nombra.

5. Drift silencioso del modelo evaluador. Sin control humano periódico, el modelo evaluador puede desviarse sin que nadie lo note. Es el riesgo más sutil del paradigma.

CAI como estándar de facto del sector

Desde diciembre de 2022, toda la industria seria adoptó variantes del mismo patrón. Anthropic publicó Claude’s Constitution en mayo de 2023. OpenAI publicó el Model Spec en mayo de 2024, revisado en 2025. Google tiene sus Responsible AI Principles para Gemini. Meta mantiene principios públicos para Llama. DeepSeek y Qwen tienen constituciones internas alineadas con regulaciones chinas, opacas en su redacción exacta. La conversación pública sobre alineamiento se ha desplazado: ya no se discute si conviene escribir principios (eso está zanjado), sino qué principios y quién los escribe.

Cierre — RLAIF y CAI no son suficientes

CAI ataca dos de las cinco grietas de la Parte 5 — el cuello de botella humano y los sesgos opacos heredados — y lo hace bien. Pero deja sin resolver otras tres:

• Reward hacking sigue existiendo. El modelo grande puede explotar sesgos del modelo evaluador igual que antes explotaba sesgos del RM humano. La forma de la grieta cambia; la grieta no se cierra.
• PPO sigue siendo frágil de entrenar. RL-CAI usa exactamente el mismo bucle PPO + KL + RM que RLHF.
• El RM sigue siendo una proxy explotable. CAI cambia quién genera los juicios, pero mantiene la arquitectura «modelo evaluador → juicios → RM → modelo grande con PPO».

La siguiente respuesta del campo va a ser radicalmente distinta. DPO (Direct Preference Optimization, optimización directa de preferencias) demuestra matemáticamente que se puede entrenar el modelo grande directamente a partir de los pares de preferencia, sin RM intermedio y sin PPO. Menos modelos en GPU, gradient descent estándar, reward hacking más difícil porque se elimina la proxy explícita. Es la Parte 7 de la serie. La cubrimos en la próxima entrega.