À medida que os agentes de IA passam de demos de pesquisa para implantações de produção, uma pergunta se tornou impossível de ignorar: como você realmente sabe se um agente é bom? Pontuações de perplexidade e números da tabela de classificação MMLU dizem muito pouco sobre se um modelo pode navegar em um site real, resolver um problema no GitHub ou lidar de forma confiável com um fluxo de trabalho de atendimento ao cliente em centenas de interações. O campo respondeu com uma onda de benchmarks agentes — mas nem todos são igualmente significativos. Uma ressalva importante antes de começar: as pontuações de benchmark de agente são altamente dependentes do “scaffold” (andaime). O modelo, o design do prompt, o acesso à ferramenta, o orçamento de repetições, o ambiente de execução e a versão do avaliador podem alterar materialmente as pontuações relatadas. Nenhum número deve ser lido isoladamente; o contexto de como foi produzido importa tanto quanto o próprio número. Com isso em mente, aqui estão sete benchmarks que surgiram como sinais genuínos de capacidade agente, explicando o que cada um testa, por que importa e onde os resultados notáveis atualmente se encontram. 1. SWE-bench Leaderboard Verificado e detalhes: swebench.com O que ele testa: Engenharia de software do mundo real. O SWE-bench avalia LLMs e agentes de IA em sua capacidade de resolver problemas de engenharia de software do mundo real, a partir de 2.294 problemas originados de issues do GitHub em 12 repositórios populares de Python. O agente deve produzir um patch funcional — não uma descrição de uma correção, mas código real que passe nos testes unitários. O subconjunto Verificado é uma coleção validada por humanos de 500 amostras de alta qualidade desenvolvidas em colaboração com a OpenAI e engenheiros de software profissionais, e é a versão mais comumente citada nas avaliações de modelos de fronteira atualmente. Por que isso importa: A trajetória do benchmark o torna um dos rastreadores de progresso de longo prazo mais confiáveis no campo. Quando foi lançado em 2023, o Claude 2 conseguia resolver apenas 1,96% dos problemas. Nos resultados relatados por fornecedores no final de 2025 e início de 2026, os modelos de fronteira superiores atingiram a faixa de 80% no SWE-bench Verificado — embora as pontuações exatas variem significativamente por “scaffold”, configuração de esforço, configuração de ferramenta e protocolo do avaliador, e não devem ser comparadas diretamente entre fornecedores sem considerar essas diferenças. Um padrão consistente emergiu: modelos de código fechado tendem a superar os de código aberto, e o desempenho é fortemente moldado pelo “agent harness” tanto quanto pelo modelo subjacente. Uma ressalva que vale a pena mencionar: altas pontuações no SWE-bench não garantem um agente de uso geral. Elas indicam força na reparação de software.
Fonte: MarkTechPost
Publicado em 2026-04-26