PPO

Fotografía editorial macro en plano lateral. Una taza de porcelana blanca pristina descansa sobre una superficie de madera clara iluminada por luz natural suave entrando por una ventana fuera de cuadro. La taza está estructuralmente intacta, pero una sutil grieta capilar atraviesa diagonalmente uno de sus costados, iluminada desde dentro por un suave resplandor cálido ámbar que la hace visible y casi decorativa. Metáfora visual de una maquinaria que funciona pero cuyas grietas, una vez expuestas a la luz, son evidentes y vale la pena contemplar.

Cómo se entrena un LLM. Parte 5: las grietas de RLHF

Aitana Vera / 15 de mayo de 2026

RLHF funcionó, pero tiene grietas serias que motivaron todo lo que vino después. Reward hacking, cuello de botella humano, sesgos heredados, PPO frágil y KL como freno y no guardarraíl: las cinco limitaciones estructurales y la respuesta del campo a cada una.

Una mano sobre una mesa de madera clara señala una de dos burbujas de diálogo recortadas en papel, colocadas lado a lado, indicando una preferencia entre ambas. La burbuja elegida se desvanece hacia la derecha transformándose en partículas de luz que dan forma a una red neuronal estilizada con tonos cálidos, de la que emergen otras burbujas de diálogo luminosas. Metáfora visual del proceso de RLHF: un humano elige entre dos respuestas de chat y ese juicio se integra en el modelo, que aprende a hablar como un asistente conversacional.

IA, LLMs

Cómo se entrena un LLM. Parte 4: RLHF, la maquinaria

Aitana Vera / 9 de mayo de 2026

La técnica que convirtió GPT-3 en ChatGPT: cómo se afina un modelo a base de comparaciones humanas. Reward model, PPO y por qué noviembre de 2022 cambió todo.