Vercel Labs lançou o agent-desktop, um CLI de código aberto para uso de computador por agentes de AI em macOS, Windows e Linux. O agent-desktop lê cada aplicativo através da árvore de acessibilidade do sistema operacional, não por capturas de tela. Um agente recebe um snapshot em JSON com uma referência (ref) para cada elemento que pode ser manipulado. A versão 1.0.2 foi lançada em 30 de outubro de 2026, sob a licença Apache-2.0. Para desenvolvedores, qualquer agente de codificação que funcione em shell agora pode controlar aplicativos nativos sem precisar de um modelo de visão. TL;DR Biblioteca: CLI em Rust e uma biblioteca C. 60 nomes de comandos, 56 operacionais. Compatível com: macOS 13+, Windows 10 1809+ ou Server 2019+, Ubuntu 24.04+, em x64 e ARM64. CPU puro, sem GPU. Desempenho: ações de referência determinísticas e seguras para reintentos. Ainda não há benchmark independente de uso de computador. Melhor: de 78% a 96% menos tokens em apps Electron densos via travessia de esqueleto (auto‑relatado). O que é o agent-desktop? O agent-desktop é um CLI em Rust e biblioteca C da Vercel Labs para leitura e operação de aplicativos desktop. É uma ferramenta que os agentes chamam, não um agente. Não incorpora LLM e não possui GUI. Cada comando imprime um envelope JSON e termina. O loop de observar, agir e verificar permanece no seu agente. Como o agent-desktop funciona? Cada comando segue uma cadeia fixa. O CLI ou a biblioteca C invoca o agent-desktop-core, que acessa o SO apenas através de um trait PlatformAdapter. Um crate de plataforma então comunica-se com a API de acessibilidade nativa: macOS: AX API, Windows: UI Automation, Linux: AT‑SPI. O core nunca importa um crate de plataforma. Cada binário é compilado para dirigir exatamente um SO. Snapshots e refs Um snapshot atribui refs qualificadas como @s8f3k2p9:e8. O ID do snapshot dentro da ref a torna auto‑descritiva. Uma ref simples @e8 é rejeitada com INVALID_ARGS. Quando a UI muda, uma ação retorna STALE_REF ou AMBIGUOUS_TARGET. O agente então obtém um novo snapshot. Cada erro traz uma disposição. Agentes devem re‑tentar somente quando indicado como seguro. A resolução de refs é estrita e falha de forma fechada ao invés de adivinhar. Esqueleto e detalhamento Aplicativos densos podem expor milhares de elementos; o agente pode primeiro percorrer o "esqueleto" leve e depois aprofundar apenas nas partes necessárias.
Fonte: MarkTechPost
Publicado em 2026-10-31