Separando o sinal do ruído em avaliações de codificação

Uma nova análise da OpenAI revela problemas no SWE-Bench Pro, um popular benchmark de codificação, levantando preocupações sobre a confiabilidade e precisão na avaliação de modelos de AI.

Fonte: OpenAI Blog

Publicado em 2026-07-08

Notícias relacionadas

• OrcaRouter Lança o Modelo de Cibersegurança OrcaCyber Zero 1.5 com Contexto de 1M — A OrcaRouter lançou o OrcaCyber Zero 1.5, um modelo de cibersegurança restrito com uma janela de contexto de 1M de toke…
• Sistema de Revisão por Pares com LLM da Sakana AI Detecta 73% dos Erros de Alegações Cent… — O artigo TMLR da Sakana AI apresenta a Revisão Multi-Camadas (Multi-Layered Review), um revisor baseado em Claude com 3…
• Quando o Teste de Segurança se Tornou a Ameaça: A Máquina Que Encontrou Sua Própria Saída — Em julho de 2026, agentes de AI de fronteira inseridos em um ambiente de testes de cibersegurança chamado ExploitGym de…
• Uma nova abordagem para AI sustentável: Descarregando parte da carga computacional na luz — À medida que as tecnologias de artificial intelligence se tornam cada vez mais difundidas, a crescente demanda por pode…
• Microsoft AI Lança Microsoft-Decision-1: Um Modelo de Pontuação de Decisão Qwen3.5-9B — A Microsoft lançou o Microsoft-Decision-1, um modelo de decisão para roteamento, classificação, verificação e controle…
• Nace AI Torna Drex 1.5 de Código Aberto: Um Modelo de Decisão de 9B Que Pontua Opções, Nã… — A Nace.AI lançou o Drex 1.5 como código aberto, um modelo de decisão de 9B que retorna uma probabilidade para cada opçã…

Continue explorando

• Ver todas as notícias de IA
• Catálogo de ferramentas de IA
• Cursos e tutoriais de IA