El cronómetro y el examen

Un modelo puede obtener un 95 % en un benchmark de programación y fracasar en la clase de tarea desordenada y prolongada que pagaríamos a un desarrollador por terminar. Esa distancia entre el número del ranking y el trabajo que confiaríamos al sistema se ha convertido silenciosamente en el centro de la evaluación de IA.

Durante gran parte de la última década ambas cosas estuvieron lo bastante cerca como para ignorar la diferencia. Se preparaba un conjunto fijo de preguntas con respuestas conocidas, se ejecutaba el modelo una vez y se publicaba un porcentaje. MMLU, GLUE, GSM8K, HumanEval. El progreso era una pila de exámenes y una puntuación más alta equivalía a un modelo mejor. Funcionó mientras las tareas eran pequeñas y las respuestas inequívocas.

Sería fácil —y falso— afirmar que esa época terminó. Los benchmarks estáticos no se volvieron inútiles. Lo que cambió es más preciso: el examen estático dejó de bastar. La frontera ya roza el techo de muchas pruebas que definieron los últimos años, mientras que las preguntas que deciden si un agente puede desplegarse —cuánto tiempo conserva la coherencia, con qué frecuencia repite un éxito, cuánto cuesta y cómo falla— nunca fueron preguntas para un examen.

Conviene separar tres diagnósticos. Saturación significa que la prueba ya no distingue bien entre los mejores sistemas. Contaminación significa que el material de prueba pudo entrar en el entrenamiento. Agencia describe un sistema que actúa durante una trayectoria, no solo responde una pregunta. Pueden coincidir, pero requieren remedios distintos.

Parte ILa puntuación antigua dejó de bastar

Un benchmark es útil mientras la frontera sigue dentro de su escala. Cuando los mejores sistemas se amontonan a uno o dos puntos del techo, deja de resolver diferencias y se convierte en una prueba de humo. WebVoyager ronda el 98,5 %. BrowseComp pasó aproximadamente del 51 al 90 % en un año. Cybench está prácticamente resuelto. SWE-bench Verified, referencia mundial para agentes de programación, ya recoge cifras de proveedores cercanas al 95 %.

El mejor argumento a favor del ranking clásico

Los benchmarks estáticos son baratos, comparables y longitudinales. Permiten que muchos equipos ejecuten las mismas preguntas y detecten si un modelo nuevo empeora en aritmética o comprensión. Nada de eso desaparece. La posición honesta no es que carezcan de valor, sino que son necesarios e insuficientes. Un 95 % en un examen contaminable puede ser una buena regresión y una pésima razón para desplegar.

La contaminación es un fallo distinto

La saturación dice que el benchmark dejó de separar a los mejores. La contaminación dice que parte de la puntuación pudo ser ficticia desde el principio. La demostración más limpia es el Konwinski Prize: tareas de programación creadas a partir de incidencias de GitHub posteriores al corte de entrenamiento. El ganador obtuvo un 7,5 %, frente a alrededor del 75 % que sistemas comparables reportan en SWE-bench Verified. El remedio para la saturación es una prueba más difícil; para la contaminación, una prueba que el modelo no haya visto.

Parte IILos benchmarks de agentes no son exámenes más difíciles

Cuando una prueba se satura, el reflejo es escribir otra con la misma forma y preguntas más rebuscadas. Así nacieron exámenes de frontera valiosos como GPQA y Humanity's Last Exam. Pero el salto agéntico no consiste en aumentar la dificultad: cambia la clase de objeto que medimos.

Un examen puntúa una respuesta. Un benchmark agéntico puntúa una trayectoria: muchos pasos en un entorno con estado, uso de herramientas, recuperación de errores y un juicio sobre si el trabajo quedó terminado. SWE-bench pide resolver una incidencia real de GitHub contra pruebas ocultas. OSWorld y WebArena sitúan al agente dentro de un sistema operativo o una web. τ-bench exige conversar, llamar herramientas y cumplir políticas. El resultado deja de ser correcto o incorrecto; puede ser éxito, fallo en el séptimo paso o media tarea terminada.

Eso vuelve central la validez de constructo: si el instrumento mide realmente lo que afirma medir. La validez interna pregunta si el benchmark puntúa bien dentro de su mundo. La externa pregunta si hacerlo bien allí predice hacerlo bien en el tuyo. El lugar donde la primera suele romperse silenciosamente es el arnés.

Parte IIIEl problema del arnés

En la época del examen se evaluaba un modelo. En la época del agente se evalúa un modelo más un arnés: herramientas, memoria, reintentos, estructura de prompts y lógica de control. A menudo el arnés importa más que el modelo.

En WebArena, el mismo modelo pasa de cerca del 48 % sin andamiaje a alrededor del 72 % con él: 24 puntos atribuibles a la envoltura. En SWE-bench Pro, un proveedor ronda el 80 % con su propio arnés y cerca del 59 % bajo uno neutral y estandarizado. Cuando un tercero endurece las pruebas ocultas, otro agente líder cae aproximadamente del 79 al 62 %. El instrumento estaba contando de más.

Parte IVLos nuevos ejes: tiempo, coste, repetición y valor

Tiempo: el cronómetro

El movimiento conceptual más importante es el horizonte temporal de METR. En lugar de preguntar qué fracción de tareas resuelve el agente, pregunta cuánto dura una tarea —medida por el tiempo que necesita un profesional humano— antes de que la fiabilidad del agente caiga al 50 %. El horizonte se ha duplicado aproximadamente cada siete meses durante seis años y en la frontera ya se mide en horas.

El cronómetro tampoco es un veredicto. La duración humana estimada es ruidosa; los intervalos en el extremo largo son enormes; un 50 % de fiabilidad puede ocultar fallos catastróficos; y una tarea larga puede ser tediosa sin aportar gran valor. Es el instrumento correcto, pero sigue siendo un instrumento.

Coste y repetición

Una cifra de precisión oculta dos variables decisivas: cuánto cuesta cada intento y si el éxito se repite. Cuando se controla el gasto, agentes sencillos pueden igualar a arquitecturas complejas por una fracción del coste. El catálogo registra ejecuciones comparables desde unos céntimos hasta cerca de 87 dólares por tarea. La métrica pass^k —probabilidad de acertar todos los intentos— revela además sistemas que parecen competentes una vez y se desmoronan al repetir.

Valor económico

El benchmark más honesto es el trabajo por el que se paga a un profesional. GDPval reúne 1.320 tareas de 44 ocupaciones y nueve sectores de la economía estadounidense, evaluadas a ciegas por expertos. Los sistemas de frontera ganan o empatan alrededor del 41 %, frente al 50 % que marcaría la paridad. En simulaciones largas, el mejor agente de Vending-Bench obtiene cerca del 17 % del resultado humano; TheAgentCompany resuelve por completo alrededor del 30 % de flujos de oficina; WorkArena++ se mueve cerca del 0–2 % en flujos empresariales completos.

Parte VEl mapa de 2026

Al ordenar el catálogo por margen disponible y banda de saturación aparecen tres zonas. El valor estratégico se ha desplazado hacia la derecha: las pruebas que todavía devuelven cifras bajas.

Parte VIQué hacer según quién seas

Una objeción a mi propia metáfora

El examen y el cronómetro son una ayuda pedagógica, no el territorio. Algunas pruebas antiguas ya medían interacción; algunos benchmarks “agénticos” son exámenes disfrazados. Una tarea prolongada puede ser larga e irrelevante, y una puntuación baja no garantiza profundidad: puede significar que el problema es honesto o que la prueba está rota. Distinguir ambos casos es precisamente el trabajo. Para eso existen la banda de saturación, la advertencia sobre el arnés y el indicador de contaminación.

Coda

La fase siguiente de la evaluación de IA no se ganará inventando rankings más difíciles. Se ganará haciendo auditable toda la pila de medición: tarea, arnés, coste, variación entre ejecuciones, riesgo de contaminación y modo de fallo. Un benchmark que no puede explicar esas seis cosas publica un rumor, por muchos decimales que lleve.