AI da Microsoft Lança Harrier-OSS-v1: Uma Nova Família de Modelos Multilíngues de Embedding Atingindo SOTA no MTEB Multilíngue v2
A Microsoft anunciou o lançamento do Harrier-OSS-v1, uma família de três modelos de embedding de texto multilíngues projetados para fornecer representações semânticas de alta qualidade em uma ampla gama de idiomas. O lançamento inclui três escalas distintas: um modelo de 270M de parâmetros, um modelo de 0.6B e um modelo de 27B. Os modelos Harrier-OSS-v1 alcançaram resultados de última geração (SOTA) no MTEB (Massive Text Embedding Benchmark) Multilíngue […]
A Microsoft anunciou o lançamento do Harrier-OSS-v1, uma família de três modelos de embedding de texto multilíngues projetados para fornecer representações semânticas de alta qualidade em uma ampla gama de idiomas. O lançamento inclui três escalas distintas: um modelo de 270M de parâmetros, um modelo de 0.6B e um modelo de 27B. Os modelos Harrier-OSS-v1 alcançaram resultados de última geração (SOTA) no MTEB (Massive Text Embedding Benchmark) Multilíngue v2. Para profissionais de AI, este lançamento marca um marco significativo na tecnologia de recuperação de código aberto, oferecendo uma gama escalável de modelos que alavancam arquiteturas LLM modernas para tarefas de embedding. Arquitetura e Fundação A família Harrier-OSS-v1 se afasta das arquiteturas tradicionais de encoder bidirecional (como BERT) que dominaram o cenário de embedding por anos. Em vez disso, esses modelos utilizam arquiteturas decoder-only, semelhantes às encontradas em Large Language Models (LLMs) modernos. O uso de fundações decoder-only representa uma mudança na forma como o contexto é processado. Em um modelo causal (decoder-only), cada token pode "atender" apenas aos tokens que o precedem. Para derivar um único vetor representando toda a entrada, o Harrier utiliza pooling do último token. Isso significa que o estado oculto do último token na sequência é usado como a representação agregada do texto, que é então submetida à normalização L2 para garantir que o vetor tenha uma magnitude consistente. Especificações Técnicas Os modelos Harrier-OSS-v1 são caracterizados por suas dimensões de embedding variadas e seu suporte consistente para entradas de contexto longo. A tabela a seguir fornece um detalhamento das especificações técnicas: https://huggingface.co/microsoft/harrier-oss-v1-270m A janela de contexto de 32.768 (32k) tokens em todos os três tamanhos é um recurso significativo para sistemas de Geração Aumentada por Recuperação (RAG). A maioria dos modelos de embedding tradicionais é limitada a 512 ou 1.024 tokens. A janela expandida permite que os desenvolvedores de AI incorporem documentos ou arquivos de código significativamente maiores sem a necessidade de chunking agressivo, o que frequentemente resulta na perda de coerência semântica. Implementação: Embeddings Baseados em Instruções Um dos detalhes operacionais mais importantes para os desenvolvedores de AI é que o Harrier-OSS-v1 é uma família de embeddings com "instruction-tuning". Para alcançar o desempenho aferido, o modelo requer que instruções específicas da tarefa sejam fornecidas no momento da consulta. A implementação segue uma lógica específica: Lado da consulta: Todas as consultas devem ser precedidas por um