Fotografía editorial macro en plano lateral. Una taza de porcelana blanca pristina descansa sobre una superficie de madera clara iluminada por luz natural suave entrando por una ventana fuera de cuadro. La taza está estructuralmente intacta, pero una sutil grieta capilar atraviesa diagonalmente uno de sus costados, iluminada desde dentro por un suave resplandor cálido ámbar que la hace visible y casi decorativa. Metáfora visual de una maquinaria que funciona pero cuyas grietas, una vez expuestas a la luz, son evidentes y vale la pena contemplar.
IA, LLMs

Cómo se entrena un LLM. Parte 5: las grietas de RLHF

/

RLHF funcionó, pero tiene grietas serias que motivaron todo lo que vino después. Reward hacking, cuello de botella humano, sesgos heredados, PPO frágil y KL como freno y no guardarraíl: las cinco limitaciones estructurales y la respuesta del campo a cada una.