Modelos maiores, contextos mais longos e aplicações agente estão aumentando a pressão sobre a memória da GPU enquanto a oferta se estreita e os preços sobem — uma tendência esperada para continuar no curto prazo. A NVIDIA trabalha estreitamente com parceiros de memória para adotar rapidamente as tecnologias de memória mais recentes. A NVIDIA foi a primeira a incorporar as tecnologias HBM3e e HBM4 em uma pilha de computação acelerada. Mas a abordagem não consiste apenas em colocar mais memória na GPU. É um co‑design de pilha completa. A NVIDIA projeta intencionalmente GPUs, CPUs, redes, armazenamento e software juntos para extrair mais trabalho útil da memória em cada camada da fábrica de IA. Isso é importante porque uma fábrica de IA opera em uma hierarquia de memória e armazenamento. A memória de alta largura de banda da GPU (HBM) é o nível mais rápido, mais caro e mais disputado — com os pesos do modelo e o KV cache competindo por capacidade limitada. Abaixo dela ficam a memória da CPU, SSDs locais e o armazenamento compartilhado, cada um trocando velocidade por maior capacidade a um custo por bit mais baixo. Quanto trabalho útil um byte realiza depende de quão bem a hierarquia completa é utilizada: reduzir o que deve ser armazenado, posicioná‑lo no nível correto e trazê‑lo de volta à GPU antes que seja necessário. Byte por byte, a NVIDIA faz o uso mais eficiente da memória em cada camada — e os resultados comprovam isso. Do NVIDIA Blackwell Ultra à plataforma Vera Rubin, a capacidade de HBM por GPU aumentou cerca de 3%, enquanto o throughput agente por dólar cresceu até 30 vezes no SemiAnalysis AgentX. A Inferência Agente Está Colocando Mais Pressão na HBM. Modelos de fronteira agora têm trilhões de parâmetros — os valores que armazenam o que um modelo de IA aprendeu no treinamento. O KV cache, que mantém o contexto que o modelo precisa para entender cada solicitação ativa sem reprocessar a mesma informação, também está se expandindo. Trajetórias agente carregam contexto prévio através de chamadas repetidas de modelo e ferramenta, em alguns casos processando até 3 milhões de tokens, de modo que a memória de trabalho de cada solicitação cresce ao longo do tempo. A geração aumentada por recuperação (RAG) adiciona informações empresariais relevantes aos prompts, cri
Fonte: NVIDIA AI Blog
Publicado em 2026-11-05