Conheça os JiTTests da Meta: Testes Gerados por LLM Projetados para Falhar Antes que Códigos Arrisc…

A Meta moveu os Testes Just-in-Time de Detecção (Catching JiTTests) de um protótipo de pesquisa para sua infraestrutura de produção. O Meta JiTTests é um sistema baseado em LLM que escreve testes executáveis projetados para falhar em uma alteração de código arriscada. Um teste que falha é uma evidência concreta de que uma alteração ('diff') modificou o comportamento. A equipe da Meta relata que os JiTTests detectaram 74 SEVs de privacidade na fase de 'diff' no primeiro semestre de 2026. O método é descrito no artigo de pesquisa da FSE 2026 'Geração de Testes de Detecção Just-in-Time na Meta' (Just-in-Time Catching Test Generation at Meta). TL;DR Escala: Roda no código de backend da Meta, com centenas de milhões de linhas. O artigo de pesquisa analisa 22.126 testes gerados. Execução: Na infraestrutura interna da Meta, durante a noite, utilizando capacidade ociosa. Modelos de avaliação no artigo: Llama3.3-70B, Gemini 3 Pro, Claude Sonnet 4. Não disponível publicamente. Desempenho: Engenheiros relatam uma taxa de verdadeiros positivos de 60% em escala total (auto-relatado). Melhor: 74 SEVs de privacidade detectados antes da implementação no primeiro semestre de 2026; ocorrência de SEVs de privacidade reduzida em 20%. Pior: A implantação inicial confirmou apenas 8 das 41 detecções relatadas (19,5%). Conclusão: Melhor: prova executável de um bug antes da fusão. Pior: apenas interno, com números auto-relatados. O que são Catching JiTTests? Catching JiTTests são testes gerados por LLM que devem falhar quando um 'diff' introduz um bug. Testes de endurecimento tradicionais passam quando escritos e protegem contra futuras regressões. Os testes de detecção visam a alteração em revisão, antes que ela seja implementada. A Meta formalizou os detalhes em seu artigo de 2025 'Endurecer e Detectar' (Harden and Catch). A maioria das ferramentas de detecção de bugs de AI age como revisores humanos mais rápidos. Elas leem o 'diff' e deixam comentários. Os JiTTests, em vez disso, executam o código e mostram uma diferença comportamental concreta. A equipe da Meta admite que isso exige mais etapas computacionais. Eles argumentam que a abordagem detecta classes de bugs que uma revisão por LLM ou agente pode perder. Como funciona o pipeline JiTTests? O pipeline de produção possui 5 estágios: Segmentação (Targeting): Executa durante a noite em capacidade ociosa. Ele seleciona os 'diffs' arriscados do dia anterior, usando um mecanismo similar

Fonte: MarkTechPost

Publicado em 2026-11-16

Notícias relacionadas

Continue explorando