A Cloudflare lançou o Agents SDK v0.5.0 para abordar as limitações das funções serverless sem estado no desenvolvimento de IA. Em arquiteturas serverless padrão, cada chamada de LLM exige a reconstrução do contexto da sessão do zero, o que aumenta a latência e o consumo de tokens. A versão mais recente do Agents SDK (Agents SDK v0.5.0) oferece uma camada de execução "vertically integrated" onde computação, estado e inferência coexistem na borda da rede. O SDK permite que os desenvolvedores criem agentes que mantêm o estado por longos períodos, indo além dos simples ciclos de requisição-resposta. Isso é alcançado por meio de duas tecnologias primárias: Durable Objects, que fornecem estado e identidade persistentes, e Infire, um motor de inferência customizado construído em Rust projetado para otimizar os recursos de borda. Para os desenvolvedores, essa arquitetura remove a necessidade de gerenciar conexões de banco de dados externas ou servidores WebSocket para sincronização de estado. Gerenciamento de Estado via Durable Objects O Agents SDK depende de Durable Objects (DO) para fornecer identidade e memória persistentes para cada instância de agente. Em modelos serverless tradicionais, as funções não têm memória de eventos anteriores, a menos que consultem um banco de dados externo como RDS ou DynamoDB, o que geralmente adiciona de 50ms a 200ms de latência. Um Durable Object é um microsservidor com estado executando na rede da Cloudflare com seu próprio armazenamento privado. Quando um agente é instanciado usando o Agents SDK, ele recebe um ID estável. Todas as solicitações subsequentes para aquele usuário são roteadas para a mesma instância física, permitindo que o agente mantenha seu estado na memória. Cada agente inclui um banco de dados SQLite embarcado com um limite de armazenamento de 1 GB por instância, permitindo leituras e gravações de latência zero para histórico de conversas e logs de tarefas. Os Durable Objects são single-threaded, o que simplifica o gerenciamento de concorrência. Esse design garante que apenas 1 evento seja processado por vez para uma instância de agente específica, eliminando condições de corrida. Se um agente recebe múltiplas entradas simultaneamente, elas são enfileiradas e processadas atomicamente, garantindo que o estado permaneça consistente durante operações complexas. Infire: Otimizando a Inferência com Rust Para a camada de inferência, a Cloudflare desenvolveu o Infire, um motor LLM escrito em Rust que substitui pilhas baseadas em Python como o vLLM. Motores Python frequentemente enfrentam gargalos de desempenho devido ao Global Interpreter Lock (GIL) e pausas de coleta de lixo. O Infire é projetado para maximizar a utilização da GPU em hardware H100, reduzindo a sobrecarga da CPU. O motor utiliza Granular CU
Fonte: MarkTechPost
Publicado em 2026-02-17