A Architect Financial Technologies lançou o Liquid Inference, um roteador de LLM que executa um leilão ao vivo para cada solicitação. Liquid Inference é um marketplace de inferência de LLM da Architect onde provedores oferecem lances para atender a cada prompt. O comprador paga a oferta mais baixa que atende às suas regras. Para os desenvolvedores, a mensagem é bastante simples: troque uma URL base, mantenha seu código e deixe os provedores competirem por preço. O que é Liquid Inference? Liquid Inference é um roteador no estilo de bolsa de valores para inferência de LLM. De acordo com a Architect, os provedores publicam ofertas para servir modelos específicos. Cada solicitação é leiloada entre todos os provedores que cotam o modelo nomeado. A oferta de menor preço que atende às regras do comprador vence. O produto vem de uma empresa de trading, não de um laboratório de IA. A Architect opera a exchange de futuros perpétuos AX. Em maio de 2026, adquiriu um Designated Contract Market dos EUA para listar futuros de computação GPU, pendente de revisão regulatória. A equipe usou sua experiência na construção de exchanges financeiras para criar uma descoberta de preço de dois lados para inferência. Como funciona o leilão de inferência? O fluxo tem 4 etapas: Solicitação: Um cliente envia uma chamada de API padrão OpenAI ou Anthropic. Regras: As restrições do comprador filtram as ofertas elegíveis. Leilão: Os provedores que cotam esse modelo competem. A oferta qualificada de menor preço vence. Recibo: O preço máximo é travado antes da geração. A cobrança cobre apenas o uso medido. Os compradores podem definir limites de custo por trabalho, tempo para o primeiro token e throughput mínimo. Eles também podem exigir regiões aprovadas, retenção zero de dados e allow lists de provedores ou modelos. Um modo Auto pode selecionar o modelo para uma determinada unidade de trabalho. A postagem de Harrison no LinkedIn adiciona predefinições de regras de roteamento e suporte multimídia completo. Os titulares de contas podem visualizar livros de ofertas ao vivo, cotações por provedor e por modelo, e transações liquidadas. Esse nível de dados de mercado é incomum para uma API de LLM. O que os compradores ganham? Compatibilidade plug-and-play com ferramentas de codificação agentic. A postagem lista Claude Code, Codex, OpenCode, Cursor, Pi e Cline. Livre
Fonte: MarkTechPost
Publicado em 2026-10-08