Poderia a regressão simbólica ser a chave para transformar modelos opacos de deep learning em equações matemáticas interpretáveis e de forma fechada? Ou, digamos que você treinou seu modelo de deep learning. Ele funciona. Mas você sabe o que ele realmente aprendeu? Uma equipe de pesquisadores da Universidade de Cambridge propõe ‘SymTorch’, uma biblioteca projetada para integrar a regressão simbólica (SR) em fluxos de trabalho de deep learning. Ela permite que os pesquisadores aproximem componentes de redes neurais com expressões matemáticas de forma fechada, facilitando a interpretabilidade funcional e a potencial aceleração da inferência. https://arxiv.org/pdf/2602.21307 Mecanismo Principal: O Fluxo de Trabalho Wrap-Distill-Switch SymTorch simplifica a engenharia necessária para extrair equações simbólicas de modelos treinados, automatizando o movimento de dados e o gerenciamento de hooks. Wrap (Envolver): Os usuários aplicam o wrapper SymbolicModel a qualquer nn.Module ou função chamável. Distill (Destilar): A biblioteca registra hooks de forward para gravar ativações de entrada e saída durante uma passagem forward. Estas são armazenadas em cache e transferidas da GPU para a CPU para regressão simbólica via PySR. Switch (Alternar): Uma vez destilado, os pesos neurais originais podem ser substituídos pela equação descoberta na passagem forward usando switch_to_symbolic. A biblioteca interage com o PySR, que usa um algoritmo genético multi-população para encontrar equações que equilibram precisão e complexidade em uma frente de Pareto. A 'melhor' equação é escolhida maximizando a queda fracionária no erro absoluto médio logarítmico em relação a um aumento na complexidade. Estudo de Caso: Acelerando a Inferência de LLM Uma aplicação primária explorada nesta pesquisa é a substituição de camadas de Multi-Layer Perceptron (MLP) em modelos Transformer por substitutos simbólicos para melhorar o throughput. Detalhes de Implementação Devido à alta dimensionalidade das ativações de LLM, a equipe de pesquisa empregou Análise de Componentes Principais (PCA) para comprimir entradas e saídas antes de realizar a SR. Para o modelo Qwen2.5-1.5B, eles selecionaram 32 componentes principais para entradas e 8 para saídas em três camadas alvo. Trade-offs de Desempenho A intervenção resultou em um aumento de 8,3% no throughput de tokens. No entanto, esse ganho veio acompanhado de um aumento não trivial na perplexidade, impulsionado principalmente pela redução de dimensionalidade da PCA, e não pela aproximação simbólica em si. Métrica Linha de Base (Qwen2.5-1.5B) Substituição Simbólica Perplexidade (Wikitext-2) 10.62 13.76 Throughput (tokens/s) 4878.82 5281.42 Latência Média (ms) 209.89 193.89 GNNs e PINNs SymTorch
Fonte: MarkTechPost
Publicado em 2026-03-03