Ao longo do último ano, temos compartilhado nosso trabalho aproveitando modelos de linguagem avançada para detectar bugs em tempo real — uma abordagem inovadora que chamamos de Catching Just-in-Time Tests (JiTTests). Agora, estamos divulgando os resultados e o impacto positivo que observamos ao implantar o Catching JiTTests em produção. Nosso artigo, “Just-in-Time Catching Test Generation at Meta”, detalha completamente nosso primeiro deployment e testes com o Catching JiTTests. Cada alteração de código melhora nossa plataforma, mas também introduz nova complexidade. Com centenas de milhões de linhas de código evoluindo constantemente na Meta, testes tradicionais não conseguem acompanhar. Detectar riscos proativamente, antes que o código seja lançado, nos permite identificar riscos mais cedo, responder de forma mais eficaz e entregar experiências confiáveis em escala. Nos últimos anos, divulgamos nossa pesquisa sobre aplicação de modelos de linguagem avançada (LLMs) na geração de testes de software. Mais especificamente, mostramos nosso trabalho com Just-in-Time Tests (JiTTests), uma abordagem de testes inovadora na qual utilizamos LLMs para detectar bugs em tempo real, inclusive aqueles que testes tradicionais podem não captar. Nos cinco meses desde o primeiro anúncio, implantamos nosso método Catching JiTTests para avaliar sua escalabilidade e aplicabilidade ao setor em geral. Hoje, o Catching JiTTests deixou de ser um protótipo de pesquisa; ele faz parte da infraestrutura da Meta, ajudando nossos engenheiros a detectar mais bugs com menor carga e menor probabilidade de falsos positivos. A vantagem do Catching JiTTests. A maioria das abordagens baseadas em AI para prevenir bugs em código usa LLMs e/ou IA agente para revisar código e detectar falhas com base em experiência prévia. Elas funcionam pelo mesmo processo de revisão que um revisor humano faria, apenas mais rápido. O Catching JiTTests é uma abordagem fundamentalmente diferente (Tabela 1): gera testes executáveis que demonstram uma diferença de comportamento concreta introduzida pela mudança. Embora exija mais etapas computacionais, captura classes de bugs que LLM- ou ag
Fonte: Meta Engineering - AI Research
Publicado em 2026-10-29