Pesquisadores da Columbia University e da CertiK apresentaram o TensorLean, um framework para verificação formal de kernels GPU no nível PTX. O TensorLean é um verificador baseado em Lean que prova que os kernels compilados correspondem a uma especificação matemática ao nível de tensor. A equipe de pesquisa analisou 149 instâncias de kernels, incluindo todos os kernels do FlashAttention‑2, ‑3 e ‑4, além do DeepGEMM, provando que 83 estavam corretas. As 66 restantes levaram à descoberta de 38 bugs de correção. TL;DR Tamanho: parser PTX de 1,8 k linhas. Especificações totalizam 10.278 linhas contra 151.285 linhas de código-fonte de kernels, uma proporção de aproximadamente 15:1. Executado em: workstation com 16 núcleos. Verifica PTX compilado para kernels A100, H100 e B200. Desempenho: 83 de 149 instâncias de kernels provadas corretas, 38 bugs encontrados em 6 projetos. Destaque: detectou uma corrida de dados no FlashAttention‑4 que nunca apareceu em 17.760 execuções de teste. O que é o TensorLean? O TensorLean é um framework de verificação formal para kernels GPU no nível PTX. Ele parte do código‑fonte não modificado. O desenvolvedor escreve uma especificação ao nível de tensor em Lean. O TensorLean então prova quatro propriedades: ausência de corridas de dados, terminação, saída correta dentro de tolerância e memória não alterada em outras áreas. Como o TensorLean verifica um kernel GPU? As especificações se baseiam na Mathlib de Lean. Operadores de tensor seguem nomes do PyTorch, de modo que @ significa torch.matmul. Cada especificação possui 5 partes: spec_math, spec_mut, spec_layout, spec_tol e requires. A parte matemática permanece separada do layout de memória. O pipeline ocorre em 7 etapas: 1) iniciar a partir do código‑fonte não modificado; 2) escrever a especificação ao nível de tensor; 3) compilar para PTX e carregar a semântica PTX; 4) construir um grafo happens‑before para checar corridas e terminação; 5) executar simbolicamente para obter a memória final, idêntica entre agendamentos; 6) reduzir a especificação ao nível de memória PTX; 7) descarregar provas usando o kernel de Lean, Z3 e cvc5. Quais técnicas permitem escalabilidade? Concurrency to sequential: provas de ausência de corridas no grafo happens‑before cobrem todas as CTAs, threads e iterações de loop simbolicamente. Invariantes de loop sobre semirings: formas fechadas para loops segmentados e acumuladores, como ...
Fonte: MarkTechPost
Publicado em 2026-11-22