Enquanto Modelos Abertos Acendem o Boom da IA, NVIDIA Jetson Traz Isso à Vida na Edge

A miniescavadeira Cat 306 CR pesa pouco menos de oito toneladas e cabe dentro de um contêiner de transporte padrão. É a máquina que um empreiteiro aluga quando o local de trabalho é apertado: uma vala de utilidade perto de uma fundação, uma escavação de porão em um bairro denso. A cabine tem aproximadamente o tamanho de uma cabine telefônica. O operador senta-se perto dos controles, dois joysticks, múltiplas funções por mão. Leva tempo para aprender. Leva mais tempo para acelerar. Na CES, no início deste ano, aquela máquina respondeu a perguntas. Na demonstração, o Cat AI Assistant rodou no NVIDIA Jetson Thor, uma plataforma de IA de borda (edge AI) construída para inferência em tempo real em sistemas industriais e robóticos. Os modelos de fala NVIDIA Nemotron são usados para interações de voz natural rápidas e precisas. O Qwen3 4B, servido localmente via vLLM, interpreta solicitações e gera respostas com baixa latência, sem necessidade de conexão com a nuvem. Além da inovação empresarial, os modelos abertos destravam novas possibilidades para os desenvolvedores criarem e experimentarem livremente. Executar o OpenClaw no NVIDIA Jetson permite que os desenvolvedores criem assistentes de IA privados e sempre ativos na edge — com custo zero de API (Application Programming Interface) e total privacidade de dados. Todos os kits de desenvolvimento Jetson suportam o OpenClaw, oferecendo a flexibilidade de alternar entre modelos abertos de 2 bilhões a 30 bilhões de parâmetros. Com um assistente de IA de classe de fronteira rodando localmente, os usuários podem alimentar briefings matinais, automatizar tarefas diárias, realizar revisões de código e controlar sistemas de casa inteligente — tudo em tempo real. Da Nuvem para a Edge Na maior parte de sua história recente, os modelos abertos viviam onde era mais fácil suportá-los. Eles rodavam em data centers, apoiados por computação elástica e redes persistentes. As implantações na nuvem acarretam custos em latência e gastos contínuos de computação que escalam com cada consulta. Os sistemas físicos otimizam para outra coisa. Baixa latência porque as máquinas interagem com pessoas e ambientes. Potência limitada porque os dispositivos têm limites rígidos. E comportamento consistente porque a variabilidade introduz risco. Há também uma questão de oferta. A escassez de memória elevou os custos em toda a indústria. O Jetson reúne computação e memória em um sistema-em-módulo (system-on-module), acelerando o design de hardware do cliente e tornando a aquisição e validação mais fáceis do que com abordagens de componentes discretos. E à medida que os modelos se tornaram mais eficientes, os desenvolvedores também começaram a fazer uma pergunta diferente. Não qual modelo tem o melhor desempenho isoladamente, mas onde faz sentido executá-lo. Mais frequentemente, a resposta é no dispositivo, começando pelo Jetson Orin Nano.

Fonte: NVIDIA AI Blog

Publicado em 2026-03-10

Notícias relacionadas

Continue explorando