Uma Implementação de Código para Construir um Sistema LLM com Consciência de Incerteza, Estimativa de Confiança, Autoavaliação e Pesquisa Web Automática

Neste tutorial, construímos um sistema de modelo de linguagem grande (LLM) com consciência de incerteza que não apenas gera respostas, mas também estima a confiança nessas respostas. Implementamos um pipeline de raciocínio de três estágios no qual o modelo primeiro produz uma resposta juntamente com uma pontuação de confiança auto-relatada e uma justificativa. Em seguida, introduzimos uma etapa de autoavaliação que permite ao modelo criticar e refinar sua própria resposta, simulando uma verificação metacognitiva. Se o modelo determinar que sua confiança é baixa, acionamos automaticamente uma fase de pesquisa na web que recupera informações relevantes de fontes em tempo real e sintetiza uma resposta mais confiável. Ao combinar estimativa de confiança, autorreflexão e pesquisa automatizada, criamos uma estrutura prática para construir sistemas de AI mais confiáveis e transparentes que podem reconhecer a incerteza e buscar ativamente informações melhores. Copiar Código Copiado Usar um navegador diferente import os, json, re, textwrap, getpass, sys, warnings from dataclasses import dataclass, field from typing import Optional from openai import OpenAI from ddgs import DDGS from rich.console import Console from rich.table import Table from rich.panel import Panel from rich import box warnings.filterwarnings("ignore", category=DeprecationWarning) def _get_api_key() -> str: key = os.environ.get("OPENAI_API_KEY", "").strip() if key: return key try: from google.colab import userdata key = userdata.get("OPENAI_API_KEY") or "" if key.strip(): return key.strip() except Exception: pass console = Console() console.print( "
[bold cyan]Chave da API OpenAI necessária[/bold cyan]
" "[dim]Sua chave não será exibida e nunca é armazenada em disco.
" "Para pular este prompt em futuras execuções, defina a variável de ambiente:
" " export OPENAI_API_KEY=sk-...[/dim]
" ) key = getpass.getpass(" Digite sua chave da API OpenAI: ").strip() if not key: Console().print("[bold red]Nenhuma chave da API fornecida — saindo.[/bold red]") sys.exit(1) return key OPENAI_API_KEY = _get_api_key() MODEL = "gpt-4o-mini" CONFIDENCE_LOW = 0.55 CONFIDENCE_MED = 0.80 client = OpenAI(api_key=OPENAI_API_KEY) console = Console() @dataclass class LLMResponse: question: str answer: str confidence: float reasoning: str sources: list[str] = field(default_factory=list) researched: bool = False raw_json: dict = field(default_factory=dict) Importamos todas as bibliotecas necessárias e configuramos o ambiente de execução para o pipeline LLM com consciência de incerteza. Recuperamos de forma segura a chave da API OpenAI usando variáveis de ambiente