ARC-AGI-1 y ARC-AGI-2: dos versiones del reto

En el leaderboard verás dos versiones principales del benchmark:

• ARC-AGI-1: la primera versión, centrada en medir una especie de “inteligencia fluida” básica en IA.
• ARC-AGI-2: la nueva versión, mucho más exigente, que pone el foco en la adaptabilidad y la eficiencia del razonamiento. Aquí no basta con acertar: también cuenta hacerlo con el menor coste posible.

En palabras de la propia organización, la idea es clara: “la verdadera inteligencia no es solo resolver problemas, sino hacerlo de forma eficiente, con recursos mínimos”.

Cómo leer el leaderboard de ARC Prize

La página del leaderboard de ARC Prize representa los resultados de diferentes sistemas de IA en un gráfico y en tablas comparativas. Cada punto del gráfico corresponde a un modelo o sistema concreto.

Dos conceptos clave dominan la clasificación:

• Performance (rendimiento): cuántas tareas del benchmark resuelve correctamente el modelo.
• Cost-per-task (coste por tarea): cuánto cuesta, en términos de computación y dinero, conseguir esos resultados.

De esta forma, no solo se valora qué sistema es “más listo”, sino cuál es más inteligente por unidad de coste, un factor esencial si pensamos en aplicaciones reales de la IA.

Tipos de sistemas que aparecen en la clasificación

En el leaderboard se agrupan distintos tipos de soluciones:

• Reasoning Systems: sistemas que usan modelos de lenguaje u otras técnicas de IA con razonamiento ampliado (más pasos de pensamiento, más tiempo de cómputo). Suelen aparecer como líneas de tendencia que muestran cómo cambia el rendimiento cuando se les permite “pensar más”.
• Base LLMs: modelos de lenguaje “base”, evaluados en modo single-shot, sin cadenas de razonamiento largas. Sirven como referencia para ver qué puede hacer un modelo estándar sin trucos adicionales.
• Kaggle Systems: soluciones enviadas a competiciones en la plataforma Kaggle, donde además se imponen límites estrictos de coste (por ejemplo, un presupuesto de unos 50 dólares para todas las tareas de evaluación).

Inteligencia vs. fuerza bruta: por qué el coste importa

Un punto clave de la filosofía de ARC Prize es que la AGI no debería basarse en la fuerza bruta. Con recursos ilimitados, se podría buscar exhaustivamente hasta encontrar la solución a muchos problemas, pero eso no se considera inteligencia real.

Por eso el leaderboard:

• Solo incluye sistemas por debajo de un cierto límite de coste (por ejemplo, menos de 10.000 USD en cómputo).
• Penaliza a los sistemas que no generan la salida completa: las tareas sin respuesta se cuentan como falladas.
• Marca algunos resultados como “preview” cuando todavía se basan en pruebas parciales.

Esta combinación obliga a los equipos a buscar soluciones creativas y eficientes, no solo a lanzar más GPUs y más tokens al problema.

¿Para quién es útil este leaderboard?

El leaderboard de ARC Prize es especialmente interesante si trabajas o te interesa la IA avanzada:

• Investigadores que quieren medir el progreso en razonamiento y generalización más allá de los benchmarks clásicos.
• Empresas que evalúan qué modelos pueden ser más rentables para casos de uso donde el razonamiento complejo es clave.
• Desarrolladores y entusiastas que quieren entender qué modelos están realmente destacando en tareas de tipo AGI.

Además, el ARC Prize va acompañado de competiciones con premios económicos elevados, lo que incentiva la publicación de nuevas ideas, papers y código abierto que empujan el estado del arte.

Conclusión: por qué seguir de cerca el ARC Prize Leaderboard

La página del ARC Prize Leaderboard no es solo una tabla de puntuaciones: es una ventana al futuro de la Inteligencia Artificial General. Allí se ve cómo distintos modelos equilibran capacidad y coste, y qué enfoques parecen avanzar más rápido.

Si te interesa la AGI, el rendimiento real de los modelos y la eficiencia en producción, merece la pena revisar periódicamente este leaderboard para entender:

• Qué modelos lideran la carrera hacia la AGI.
• Qué estrategias de razonamiento están funcionando mejor.
• Cómo evoluciona la relación entre score y cost-per-task con cada nueva generación de modelos.

En resumen, el leaderboard de ARC Prize se ha convertido en un termómetro del progreso en inteligencia artificial general, donde cada punto del gráfico cuenta una historia sobre cómo la IA aprende a pensar… y a hacerlo de forma eficiente.