A NVIDIA está lançando receitas de implantação otimizadas para Dynamo para os principais modelos abertos da Coreia: A.X K2 da SK Telecom, K-EXAONE 2.0 da LG AI Research, Solar Open 2 da Upstage e Motif-3 da Motif Technologies. À medida que os modelos excedem a capacidade de um único GPU, eles precisam ser divididos entre múltiplos GPUs, exigindo coordenação cuidadosa do roteamento de requisições e da comunicação para manter o desempenho. O NVIDIA Dynamo é um framework de serviço de inferência distribuído e de código aberto, projetado para implantar modelos em ambientes multi-node em escala de data center. Ele lida com esse roteamento e comunicação para maximizar o desempenho da inferência. Otimizado para GPUs NVIDIA B200, essas receitas eliminam as suposições de implantação, entregando até 2x de desempenho “out of the box”. Eles ajudam os desenvolvedores a trazer os modelos abertos da Coreia para produção mais rapidamente e a transformá-los em serviços de IA para Todos amplamente acessíveis. Saiba mais sobre o NVIDIA Dynamo.
Fonte: NVIDIA AI Blog
Publicado em 2026-11-09