A Liquid AI lançou o LFM2-24B-A2B, um modelo otimizado para despacho de ferramentas local e de baixa latência, juntamente com o LocalCowork, um aplicativo de agente de desktop de código aberto disponível em seu GitHub Cookbook Liquid4All. O lançamento oferece uma arquitetura implementável para executar fluxos de trabalho corporativos inteiramente no dispositivo, eliminando chamadas de API e extração de dados para ambientes sensíveis à privacidade. Arquitetura e Configuração de Serviço Para obter execução de baixa latência em hardware de consumidor, o LFM2-24B-A2B utiliza uma arquitetura Sparse Mixture-of-Experts (MoE). Embora o modelo contenha 24 bilhões de parâmetros no total, ele ativa apenas aproximadamente 2 bilhões de parâmetros por token durante a inferência. Este projeto estrutural permite que o modelo mantenha uma ampla base de conhecimento enquanto reduz significativamente a sobrecarga computacional necessária para cada etapa de geração. A Liquid AI testou o modelo sob estresse usando a seguinte pilha de hardware e software: Hardware: Apple M4 Max, 36 GB de memória unificada, 32 núcleos de GPU. Mecanismo de Serviço: llama-server com flash attention habilitado. Quantização: formato GGUF Q4_K_M. Ocupação de Memória: ~14.5 GB de RAM. Hiperparâmetros: Temperatura definida para 0.1, top_p para 0.1 e max_tokens para 512 (otimizado para saídas determinísticas e rigorosas). Integração de Ferramentas LocalCowork O LocalCowork é um agente de AI de desktop completamente offline que utiliza o Model Context Protocol (MCP) para executar ferramentas pré-construídas sem depender de APIs em nuvem ou comprometer a privacidade dos dados, registrando cada ação em um rastro de auditoria local. O sistema inclui 75 ferramentas em 14 servidores MCP capazes de lidar com tarefas como operações de sistema de arquivos, OCR e varredura de segurança. No entanto, a demonstração fornecida se concentra em um subconjunto altamente confiável e selecionado de 20 ferramentas em 6 servidores, cada um rigorosamente testado para atingir mais de 80% de precisão em uma única etapa e participação verificada em cadeias de várias etapas. O LocalCowork atua como a implementação prática deste modelo. Ele opera completamente offline e vem pré-configurado com um conjunto de ferramentas de nível empresarial: Operações de Arquivos: Listagem, leitura e pesquisa em todo o sistema de arquivos do host. Varredura de Segurança: Identificação de chaves de API vazadas e informações de identificação pessoal (PII) em diretórios locais. Processamento de Documentos: Execução de Reconhecimento Óptico de Caracteres (OCR), análise de texto, comparação de contratos e geração de PDFs. Registro de Auditoria: Registro de cada chamada de ferramenta localmente para rastreamento de conformidade. Benchmarks de Desempenho A equipe da Liquid AI avaliou o modelo em uma carga de trabalho de 100 ferramentas de etapa única
Fonte: MarkTechPost
Publicado em 2026-03-06