RLHF

Fotografía editorial macro en plano lateral. Una taza de porcelana blanca pristina descansa sobre una superficie de madera clara iluminada por luz natural suave entrando por una ventana fuera de cuadro. La taza está estructuralmente intacta, pero una sutil grieta capilar atraviesa diagonalmente uno de sus costados, iluminada desde dentro por un suave resplandor cálido ámbar que la hace visible y casi decorativa. Metáfora visual de una maquinaria que funciona pero cuyas grietas, una vez expuestas a la luz, son evidentes y vale la pena contemplar.

Cómo se entrena un LLM. Parte 5: las grietas de RLHF

Aitana Vera / 15 de mayo de 2026

RLHF funcionó, pero tiene grietas serias que motivaron todo lo que vino después. Reward hacking, cuello de botella humano, sesgos heredados, PPO frágil y KL como freno y no guardarraíl: las cinco limitaciones estructurales y la respuesta del campo a cada una.

Composición editorial dividida. A la izquierda, una mano que se aparta delicadamente de una hoja de papel sobre una mesa luminosa, dejando atrás una sutil huella dactilar de luz ámbar incrustada en el papel. A la derecha, esa huella se desprende y se une a una constelación de muchas otras huellas luminosas similares conectadas entre sí formando el contorno difuso de una red neuronal. Metáfora visual de cómo el juicio de cada anotador humano deja una impronta en el modelo, y de cómo el conjunto de esas improntas conforma la voz cultural del LLM final.

IA, LLMs, Sociedad

El trabajo humano invisible detrás de los LLMs. Parte 2: la paradoja del modelo amable

Aitana Vera / 15 de mayo de 2026

Cuando tu chatbot rechaza educadamente generar contenido tóxico, esa amabilidad es el reverso de la exposición sin filtro de quien lo entrenó. La paradoja moral, los sesgos culturales que se cuelan y hacia dónde apunta la industria.

Composición editorial dividida. A la izquierda, vista cenital de una mesa de oficina luminosa con un portátil abierto que muestra en pantalla dos tarjetas de respuesta abstractas siendo comparadas; una mano humana sobre el trackpad indica una decisión inminente. A la derecha, filamentos de luz emergen de la tarjeta elegida y se reorganizan en un mapa-mundi estilizado con puntos luminosos cálidos en África ecuatorial, sudeste asiático y sur de Asia, conectados a un nodo central. Metáfora del trabajo humano global y distribuido detrás del entrenamiento de los modelos de lenguaje.

IA, LLMs, Sociedad

El trabajo humano invisible detrás de los LLMs. Parte 1: quién, dónde, cómo

Aitana Vera / 15 de mayo de 2026

Detrás de cada ChatGPT, Claude o Gemini hay miles de personas en Nairobi, Manila o Calcuta haciendo clic 8 horas al día. Quiénes son, qué hacen y a qué precio.

Una mano sobre una mesa de madera clara señala una de dos burbujas de diálogo recortadas en papel, colocadas lado a lado, indicando una preferencia entre ambas. La burbuja elegida se desvanece hacia la derecha transformándose en partículas de luz que dan forma a una red neuronal estilizada con tonos cálidos, de la que emergen otras burbujas de diálogo luminosas. Metáfora visual del proceso de RLHF: un humano elige entre dos respuestas de chat y ese juicio se integra en el modelo, que aprende a hablar como un asistente conversacional.

IA, LLMs

Cómo se entrena un LLM. Parte 4: RLHF, la maquinaria

Aitana Vera / 9 de mayo de 2026

La técnica que convirtió GPT-3 en ChatGPT: cómo se afina un modelo a base de comparaciones humanas. Reward model, PPO y por qué noviembre de 2022 cambió todo.