Pesquisadores da Stanford lançaram o Memorilla, um sistema de memória open‑source para LLMs. O sistema Memorilla lê uma coleção inteira de documentos e fornece a um LLM congelado apenas 16 tokens de memória. No FactKG, um Qwen3-8B congelado obteve 84,33% com o Memorilla, contra 80,43% quando todos os documentos são usados no contexto. Ele fez isso usando 108× menos tokens de documentos. O código, receitas de treinamento e checkpoints são públicos sob a licença Apache 2.0. Você pode conferir as opções de implantação e especificações aqui através da extensão Chrome GPULeaderboard.com. TL;DR Tamanho: módulo de memória treinável de 194 M parâmetros. Ele sempre gera 16 tokens de memória, independentemente do tamanho da coleção. O codificador (Qwen3-Embedding-4B) e o decodificador (Qwen3-8B) permanecem congelados. Funciona em: Linux com GPUs CUDA e Python 3.11. O quickstart requer 1 GPU com 80 GB (receitas rodaram em H100 80GB). Nenhuma variante quantizada foi divulgada. Desempenho: média mais alta reportada em 8 benchmarks (49,68), melhor pontuação em 5 de 8. Melhor: precisão de PersonaMem‑v2 de 44,60%, versus 27,92% para contexto completo. Pior: precisão de PubMedQA de 59,00%, versus 69,00% para LLMLingua‑2. O que é Memorilla? Memorilla é um módulo de memória que converte uma coleção de documentos em 16 vetores para um LLM congelado. O trabalho vem do grupo SNAP de Jure Leskovec, com co‑autores de Toronto, Penn e MIT. Um LLM congelado só pode usar o que está em sua janela de contexto. O prompting com contexto completo cresce mais lentamente à medida que o histórico aumenta. O retrieval cola os trechos mais semelhantes à pergunta e pode perder pistas mais fracas. Memorilla segue uma terceira rota: aprende o que cada pergunta precisa de todo o armazenamento. Como funciona o Memorilla? O pipeline tem 3 passos: Codificar uma vez. Um Qwen3-Embedding‑4B embeda cada documento apenas uma vez. Novos documentos nunca forçam re‑codificação de antigos. Ler por pergunta. 16 slots aprendidos prestam atenção à pergunta e ao armazenamento completo. O módulo usa 2 camadas de cross‑attention com 8 cabeças. Injetar. Os slots são projetados para o espaço de embedding de entrada do Qwen3‑8B e são anexados antes da pergunta.
Fonte: MarkTechPost
Publicado em 2026-11-14