A Together AI introduziu o Together Compiler (TKCC), um sistema orientado por agentes que continua a reotimizar a inferência à medida que o tráfego de produção muda. O Together Compiler já opera em vários endpoints serverless da Together. A principal afirmação para os desenvolvedores: um motor otimizado uma vez se torna obsoleto, então a otimização nunca deve parar. Sistema TL;DR: É um sistema de otimização, testado em Kimi K3, GLM 5.3, MiniMax M3.1 Flash, DeepSeek v4.1 Flash e Llama 1B. Funciona em: NVIDIA B200, B300, GB300, H100, AMD MI355X e AWS Trainium2. Cada execução utilizou no máximo 2 nós por modelo. Desempenho: Até 2.6x mais TPS do que as melhores configurações publicadas do InferenceX, em menos de 24 horas por configuração. Melhor: 1.111 P90 TPS por usuário no MiniMax M3.1 Flash (B200, tamanho de batch 1), 1.8x acima da linha de base de 633 TPS. Pior: GLM 5.3 no MI355X moveu-se apenas de 463 para 480 TPS (cerca de 4%). O que é o Together Compiler? O Together Compiler é um loop de compilação contínua da Together AI que usa agentes de codificação para reescrever a passagem de avanço de um modelo. Ele recebe um comando de lançamento de servidor, um perfil de tráfego e uma configuração de hardware. Agentes propõem passagens de avanço mais rápidas, e um motor persistente mede cada uma delas. O código vencedor é enviado para o motor de serviço. Quando o tráfego muda, o loop é executado novamente. Por que a inferência precisa de compilação contínua? A equipe da Together AI relata que o formato do seu tráfego nunca permanece estático. O comprimento dos prompts em um país era de cerca de 97K tokens, em comparação com 70K em outros lugares. O comprimento de entrada P90 de um cliente cresceu de 18K para 33K tokens em 3 dias. Kernels ajustados em dados aleatórios também podem induzir ao erro. Entradas aleatórias ativaram de 13 a 38% mais especialistas MoE do que o tráfego real. Um kernel top-k escrito por agente levou 20 µs em dados aleatórios. Em dados reais com contexto de 70K, levou até 62 ms. Como funciona o motor persistente? A maioria dos loops de agentes reinicia vLLM, SGLang ou TensorRT-LLM para cada experimento. A equipe de pesquisa mede 761 segundos de inicialização a frio para o MiniMax M3.1 Flash no TensorRT-LLM. O Together Compiler inicia o motor uma vez. Idade
Fonte: MarkTechPost
Publicado em 2026-11-05