Buoyant, a empresa por trás do Linkerd, lançou o Kinference, um projeto de código aberto para construir plataformas de inferência no Kubernetes. Kinference é um plano de controle de inferência para Kubernetes e vLLM. Ele fica na frente de um conjunto de workers vLLM e decide para onde cada requisição será enviada. Aplica políticas de roteamento, limites de taxa de tokens, balanceamento de carga consciente de KV‑cache e métricas por locatário em uma única camada. Para equipes de desenvolvimento que servem muitos modelos de peso aberto a inúmeros clientes internos, ele tem como alvo a camada acima do servidor de modelo. O projeto tem licença Apache 2.0 no GitHub. A versão atual é v0.1.0-alpha.7. TL;DR Tamanho: v0.1.0-alpha.7, escrito em Rust, Apache 2.0, configurado por meio de 5 CRDs do Kubernetes. Executa em: qualquer cluster Kubernetes com GPU rodando vLLM. O benchmark da Buoyant usou 3 GPUs L40S por pool. Desempenho: grandes ganhos em tráfego pesado em prefixos comparado ao roteamento simples de Service do Kubernetes (auto‑relatado). Melhor caso: o tempo médio de TTFT caiu de 6,88 s para 0,31 s (95 %) em carga de trabalho com prefixos compartilhados. Pior caso: nenhum ganho no tempo médio de TTFT em prompts sem prefixos compartilhados (6,92 s vs 6,83 s). O que é Kinference? Kinference é um plano de controle orientado por políticas que transforma Kubernetes + vLLM em uma plataforma de inferência multi‑tenant. O FAQ da Buoyant resume: vLLM é o plano de dados e Kinference é o plano de controle. Como o Kinference funciona? O sistema tem 2 partes: um gateway de tráfego e um manipulador de inferência. O README do GitHub afirma que o manipulador expõe uma interface gRPC. Ele recebe uma requisição e devolve o endpoint escolhido mais, possivelmente, um corpo modificado. Ele se combina com um proxy como o Buoyant Gateway. Kinference monitora eventos de KV‑cache do vLLM e métricas do motor. Atualmente usa o crate dynamo‑kv‑router da NVIDIA para processar eventos de cache. A configuração vive em 5 CRDs: GatewayBackend, InferencePolicy, InferencePool, InferenceProvider e InferenceWorkerSet. O que são políticas de inferência? Políticas de inferência são regras declarativas sobre como cada requisição é roteada ou rejeitada. As regras podem combinar em dez
Fonte: MarkTechPost
Publicado em 2026-11-07