RLHF funcionó, pero tiene grietas serias que motivaron todo lo que vino después. Reward hacking, cuello de botella humano, sesgos heredados, PPO frágil y KL como freno y no guardarraíl: las cinco limitaciones estructurales y la respuesta del campo a cada una.
Cuando tu chatbot rechaza educadamente generar contenido tóxico, esa amabilidad es el reverso de la exposición sin filtro de quien lo entrenó. La paradoja moral, los sesgos culturales que se cuelan y hacia dónde apunta la industria.
La técnica que convirtió GPT-3 en ChatGPT: cómo se afina un modelo a base de comparaciones humanas. Reward model, PPO y por qué noviembre de 2022 cambió todo.
Qué pasa físicamente dentro de un LLM cuando se le ‘premia’ o ‘penaliza’. La analogía de la orquesta, la función de pérdida y por qué el alineamiento no es trivial.
Por qué un LLM recién entrenado no se comporta como ChatGPT. Qué es el pretraining, qué sabe el modelo después y por qué necesita alineamiento.
