A recuperação é onde a maioria dos sistemas RAG falha silenciosamente. Os pipelines tradicionais dependem da similaridade vetorial – incorporando consultas e fragmentos de documentos no mesmo espaço e buscando as correspondências “mais próximas”. Mas a similaridade é um proxy fraco para o que realmente precisamos: relevância fundamentada no raciocínio. Em documentos longos e profissionais – como relatórios financeiros, artigos de pesquisa ou textos jurídicos – a resposta correta muitas vezes não está no parágrafo semanticamente mais similar. Ela exige navegar pela estrutura, compreender o contexto e realizar um raciocínio multi-etapas através das seções. É exatamente aqui que o RAG baseado em vetores começa a falhar. O PageIndex foi projetado para resolver essa lacuna, repensando a recuperação a partir dos princípios básicos. Em vez de fragmentar documentos e pesquisar via embeddings, ele constrói um índice de árvore hierárquico, estilo sumário, e usa LLMs para raciocinar sobre essa estrutura – muito parecido com um especialista humano que escaneia seções, aprofunda-se e conecta ideias. Isso permite um processo de recuperação sem vetores, impulsionado pelo raciocínio, que é mais interpretável, rastreável e alinhado com a forma como o conhecimento é realmente extraído de documentos complexos. Ao substituir a busca por similaridade pela exploração estruturada e pelo raciocínio baseado em árvore, o PageIndex oferece uma precisão de recuperação significativamente maior – demonstrada por seu forte desempenho em benchmarks como o FinanceBench – tornando-o particularmente eficaz para domínios que exigem precisão e compreensão profunda. Neste artigo, usaremos o PageIndex para indexar o seminal artigo sobre Transformers — “Attention Is All You Need” — e executar duas consultas transversais contra ele sem um único vetor ou embedding. Em vez de fragmentar o PDF e recuperar por similaridade, o PageIndex constrói uma árvore hierárquica das seções do documento, e então usa o GPT-5.4 para raciocinar sobre os resumos dos nós e identificar exatamente quais seções contêm a resposta — antes de ler uma única palavra do texto completo. Configurando as dependências Para este tutorial, você precisará de chaves de API do PageIndex e da OpenAI. Você pode obtê-las em https://dash.pageindex.ai/api-keys e https://platform.openai.com/api-keys, respectivamente. Copy Code Copied Use um navegador diferente pip install pageindex openai requests Copy Code Copied Use um navegador diferente from pageindex import PageIndexClient import pageindex.utils as utils import os from getpass import getpass PAGEINDEX_API_KEY = getpass('Enter PageIndex API Key: ') pi_client = PageIndexClient(api_key=PAGEINDEX_API_KEY) Nós importamos o cliente OpenAI
Fonte: MarkTechPost
Publicado em 2026-04-26