Meta FAIR Self-Improving Memory atinge 56,0 no Bench de Aprendizado Contínuo

Meta FAIR introduziu o Self-Improving Memory, um método para agentes de IA que gerenciam sua própria memória. O modelo primeiro descobre suas próprias instruções de memória e depois treina essas habilidades nos seus pesos. Co‑autores incluem pesquisadores da University of Washington e da Johns Hopkins University.

TL;DR Método: A base é o Kimi‑K2.6, um MoE de 1T de parâmetros com 32B ativos e contexto de 256K. A destilação adiciona um adaptador LoRA (rank 64) nas projeções de atenção.

Execução: O hardware de treinamento não foi divulgado. O Kimi‑K2.6 em produção requer um nó multi‑GPU; a Vast.ai recomenda 8× H200. Pesos nativos INT4 já existem.

Desempenho: Prompts de memória descobertos automaticamente obtêm média de 56,0 em 3 tarefas, contra 44,6 para os melhores prompts escritos manualmente. Melhor pontuação: Codebase, 64,3 com prompts otimizados, +20,6 em relação ao melhor harness escrito à mão. Pior pontuação: A destilação Spectrum acrescenta apenas 2,9 pontos (46,5 vs 43,6 para SFT em execuções genéricas).

O que é Self-Improving Memory? É um método em 2 estágios da Meta FAIR que ensina um modelo‑agente a gerenciar memória baseada em arquivos. O agente trabalha em um fluxo de subtarefas; cada subtarefa começa com contexto vazio. Apenas um diretório de memória persistente, editado com ferramentas de arquivos, permanece entre subtarefas. Dois prompts controlam essa memória: OFFLOAD atualiza a memória ao final de uma subtarefa e LOAD recupera notas antes da próxima. Versões genéricas deixam a estratégia a cargo do modelo. Um estudo piloto mostrou que nenhuma estratégia escrita à mão vence todas as tarefas.

Como funciona a otimização de harness? Na etapa 1, um meta‑agente reescreve os prompts de LOAD e OFFLOAD. A busca parte de 4 sementes escritas por humanos: Summary, Retrieval, Skill e Hypothesis. Cada candidato executa o fluxo completo de tarefas 5 vezes. Os 4 melhores por pontuação média tornam‑se pais para revisão. Para cada pai, o meta‑agente lê as trajetórias, pontua e analisa os diretórios de memória finais, então propõe prompts revisados. A seleção usa um conjunto de validação que o meta‑agente não vê. Os prompts descobertos são concretos; por exemplo, um prompt de Database instrui a ler o GUARD.

Fonte: MarkTechPost

Publicado em 2026-11-19

Notícias relacionadas

Continue explorando