O cronômetro e a prova

Um modelo pode atingir 95% em um benchmark de programação e ainda falhar na tarefa confusa e prolongada que pagaríamos a um desenvolvedor para concluir. Essa distância entre o número no ranking e o trabalho que confiaríamos ao sistema tornou-se silenciosamente o centro da avaliação de IA.

Durante boa parte da última década, as duas coisas ficaram próximas o bastante para ignorarmos a diferença. Preparava-se um conjunto fixo de perguntas com respostas conhecidas, o modelo era executado uma vez e publicava-se uma porcentagem. MMLU, GLUE, GSM8K, HumanEval. O progresso era uma pilha de provas, e uma pontuação maior significava um modelo melhor. Isso funcionou enquanto as tarefas eram pequenas e as respostas inequívocas.

Seria fácil — e errado — dizer que essa era acabou. Benchmarks estáticos não se tornaram inúteis. A mudança é mais precisa: a prova estática deixou de bastar. A fronteira já encostou no teto de muitos testes que definiram os últimos anos, enquanto as perguntas que decidem se um agente pode ser implantado — por quanto tempo mantém coerência, com que frequência repete um sucesso, quanto custa e como falha — nunca foram perguntas que uma prova foi feita para responder.

É importante separar três diagnósticos. Saturação significa que o teste já não distingue bem os melhores sistemas. Contaminação significa que o material de avaliação pode ter entrado no treinamento. Agência descreve um sistema que age ao longo de uma trajetória, em vez de apenas responder a uma pergunta. Os problemas podem coexistir, mas pedem correções diferentes.

Parte IA pontuação antiga deixou de bastar

Um benchmark é útil enquanto a fronteira permanece dentro de sua escala. Quando os melhores sistemas se agrupam a um ou dois pontos do teto, ele deixa de resolver diferenças e vira um teste de fumaça. WebVoyager está perto de 98,5%. BrowseComp passou aproximadamente de 51 para 90% em um ano. Cybench está praticamente resolvido. SWE-bench Verified, referência global para agentes de programação, já registra números de fornecedores próximos de 95%.

O melhor argumento em favor do ranking clássico

Benchmarks estáticos são baratos, comparáveis e longitudinais. Permitem que muitos times executem as mesmas perguntas e detectem se um modelo novo piorou em aritmética ou compreensão. Nada disso desaparece. A posição honesta não é que perderam o valor, e sim que são necessários e insuficientes. Um 95% em uma prova contaminável pode ser uma boa verificação de regressão e uma péssima razão para implantar.

Contaminação é uma falha diferente

Saturação diz que o benchmark deixou de separar os melhores. Contaminação diz que parte da pontuação pode ter sido fictícia desde o início. A demonstração mais limpa é o Konwinski Prize: tarefas de programação criadas a partir de issues do GitHub posteriores ao corte de treinamento. A melhor solução obteve 7,5%, contra aproximadamente 75% que sistemas comparáveis reportam no SWE-bench Verified. O remédio para saturação é um teste mais difícil; para contaminação, um teste que o modelo nunca viu.

Parte IIBenchmarks de agentes não são provas mais difíceis

Quando uma avaliação satura, o reflexo é escrever outra com a mesma forma e perguntas mais obscuras. Foi assim que surgiram provas de fronteira úteis como GPQA e Humanity's Last Exam. Mas a mudança agêntica não é apenas um aumento de dificuldade: muda o tipo de objeto medido.

Uma prova pontua uma resposta. Um benchmark agêntico pontua uma trajetória: muitos passos em um ambiente com estado, uso de ferramentas, recuperação de erros e julgamento sobre a conclusão do trabalho. SWE-bench pede ao agente que resolva uma issue real do GitHub contra testes ocultos. OSWorld e WebArena o colocam dentro de um sistema operacional ou site. τ-bench exige conversar, chamar ferramentas e cumprir políticas. O resultado deixa de ser apenas certo ou errado; pode ser sucesso, falha no sétimo passo ou metade do trabalho concluída.

Isso torna central a validade de construto: se o instrumento realmente mede o que afirma medir. A validade interna pergunta se o benchmark pontua corretamente dentro de seu mundo. A externa pergunta se ir bem nesse mundo prevê bom desempenho no seu. O ponto em que a primeira costuma falhar silenciosamente é o harness.

Parte IIIO problema do harness

Na era da prova, avaliávamos um modelo. Na era do agente, avaliamos modelo mais harness: ferramentas, memória, tentativas adicionais, estrutura de prompts e lógica de controle. Muitas vezes, o harness importa mais que o modelo.

No WebArena, o mesmo modelo passa de cerca de 48% sem estrutura para aproximadamente 72% com scaffolding: 24 pontos atribuíveis à camada ao redor. No SWE-bench Pro, um fornecedor chega perto de 80% com seu próprio harness e cai para cerca de 59% sob um harness neutro e padronizado. Quando um terceiro endurece os testes ocultos, outro agente líder desce de aproximadamente 79 para 62%. O instrumento estava contabilizando sucesso em excesso.

Parte IVOs novos eixos: tempo, custo, repetição e valor

Tempo: o cronômetro

O movimento conceitual mais importante é o horizonte temporal da METR. Em vez de perguntar qual fração das tarefas um agente resolve, pergunta quanto tempo dura uma tarefa — medido pelo tempo de um profissional humano — antes de a confiabilidade do agente cair para 50%. Esse horizonte dobrou aproximadamente a cada sete meses durante seis anos e, na fronteira, já é medido em horas.

O cronômetro também não é um veredito. A estimativa de duração humana é ruidosa; os intervalos na ponta longa são enormes; 50% de confiabilidade pode ocultar falhas catastróficas; e uma tarefa longa pode ser tediosa sem ter grande valor. É o instrumento certo, mas continua sendo apenas um instrumento.

Custo e repetição

Uma pontuação de precisão esconde duas variáveis decisivas: quanto custa uma tentativa e se o sucesso se repete. Ao controlar o gasto, agentes simples podem igualar arquiteturas elaboradas por uma fração do preço. O catálogo registra execuções comparáveis desde poucos centavos até cerca de 87 dólares por tarefa. A métrica pass^k — probabilidade de acertar todas as tentativas — também revela sistemas que parecem competentes uma vez e desmoronam na repetição.

Valor econômico

O benchmark mais honesto é o trabalho pelo qual um profissional recebe. O GDPval reúne 1.320 tarefas de 44 ocupações e nove setores da economia americana, avaliadas às cegas por especialistas. Sistemas de fronteira vencem ou empatam em aproximadamente 41%, diante de 50% como paridade. Em simulações longas, o melhor agente do Vending-Bench obtém cerca de 17% do resultado humano; TheAgentCompany conclui por inteiro aproximadamente 30% dos fluxos de escritório; WorkArena++ fica perto de 0–2% em workflows empresariais completos.

Parte VO mapa de 2026

Ao ordenar o catálogo por espaço restante e faixa de saturação, surgem três zonas. O valor estratégico deslocou-se para a direita: os testes que ainda devolvem números baixos.

Parte VIO que fazer, dependendo de quem você é

Uma objeção à minha própria metáfora

A prova e o cronômetro são um recurso didático, não o território. Alguns testes antigos já mediam interação; alguns benchmarks “agênticos” são provas fantasiadas. Uma tarefa de longa duração pode ser longa e irrelevante, e uma pontuação baixa não garante profundidade: pode significar que o problema é honesto ou que o benchmark está quebrado. Distinguir os dois casos é exatamente o trabalho. Para isso servem a faixa de saturação, o alerta sobre o harness e o indicador de contaminação.

Coda

A próxima fase da avaliação de IA não será vencida apenas por rankings mais difíceis. Será vencida quando toda a pilha de medição se tornar auditável: tarefa, harness, custo, variação entre execuções, risco de contaminação e modo de falha. Um benchmark que não consegue explicar essas seis coisas publica um boato, por mais casas decimais que apresente.