A Sakana AI publicou Beyond Imitation, um artigo de pesquisa TMLR sobre revisão por pares assistida por LLM, focada na detecção de erros. A maioria dos revisores de IA é avaliada pela proximidade com que copiam as revisões humanas. Este trabalho levanta uma questão mais difícil: um revisor de IA pode encontrar um erro inserido? A equipe de pesquisa apresenta duas partes: um Contradiction Benchmark e um sistema de Revisão Multi-Camadas (MLR). Para os desenvolvedores que criam agentes de pesquisa, a lição é prática. Tanto o design do sistema quanto a escolha do modelo impulsionam a detecção de erros. TL;DR Tamanho: 1.164 contradições inseridas em 257 artigos de 5 locais. O MLR lê até 10 páginas de texto principal. Executado em: Modelos de API prontos para uso (Claude Sonnet 4, Claude Haiku 3.5). Sem GPU, sem fine-tuning. Cerca de US$ 0,47 por revisão. Desempenho: Maior detecção de erros de todos os 4 sistemas testados, com pontuações alinhadas às humanas. Melhor: Detectou 73,43% dos erros de alegações centrais com 4 revisões, versus 14,81% para a melhor linha de base. Pior: Apenas 16,11% de correspondências exatas em artigos reais retirados do arXiv. Conclusão: Melhor: lê antes de julgar e encontra erros muito mais sérios. Pior: ainda cai em injeção de prompt oculta. O que é Revisão Multi-Camadas? A Revisão Multi-Camadas é um sistema de revisão de IA agente da Sakana AI que entende um artigo de pesquisa antes de criticá-lo. Ele usa 3 agentes em modelos Claude prontos para uso: Agente de Apêndice (Claude Haiku 3.5): resume experimentos e detalhes de implementação do apêndice. Agente de Revisão da Literatura (Claude Sonnet 4): usa pesquisa na web para posicionar o artigo em trabalhos anteriores. É opcional. Agente Revisor (Claude Sonnet 4): executa uma cadeia de prompts de 3 passes inspirada na Abordagem de Três Passos de Keshav. O Passo 1 escreve um esboço de alto nível. O Passo 2 lê em detalhes e sinaliza fraquezas, suposições e lacunas. O Passo 3 mescla todas as saídas dos agentes em Pontos Fortes, Pontos Fracos, Perguntas, Recomendação, Pontuação e uma lista de Tarefas. O PDF é passado diretamente, para que figuras e equações sejam preservadas. Como funciona o Contradiction Benchmark? O benchmark insere erros em artigos reais e verifica
Fonte: MarkTechPost
Publicado em 2026-10-10