Neste tutorial, implementamos uma versão compatível com Colab do framework AutoResearch, originalmente proposto por Andrej Karpathy. Construímos um pipeline de experimentação automatizado que clona o repositório AutoResearch, prepara um ambiente de treinamento leve e executa um experimento de linha de base para estabelecer métricas de desempenho iniciais. Em seguida, criamos um loop de pesquisa automatizado que edita programaticamente os hiperparâmetros em train.py, executa novas iterações de treinamento, avalia o modelo resultante usando a métrica validation bits-per-byte e registra cada experimento em uma tabela de resultados estruturada. Ao executar este fluxo de trabalho no Google Colab, demonstramos como podemos reproduzir a ideia central da pesquisa autônoma de Machine Learning: modificar iterativamente as configurações de treinamento, avaliar o desempenho e preservar as melhores configurações, sem exigir hardware especializado ou infraestrutura complexa. Copy Code Copied Use a different Browser import os, sys, subprocess, json, re, random, shutil, time from pathlib import Path def pip_install(pkg): subprocess.check_call([sys.executable, "-m", "pip", "install", "-q", pkg]) for pkg in [ "numpy","pandas","pyarrow","requests", "rustbpe","tiktoken","openai" ]: try: __import__(pkg) except: pip_install(pkg) import pandas as pd if not Path("autoresearch").exists(): subprocess.run(["git","clone","https://github.com/karpathy/autoresearch.git"]) os.chdir("autoresearch") OPENAI_API_KEY=None try: from google.colab import userdata OPENAI_API_KEY = userdata.get("OPENAI_API_KEY") except: OPENAI_API_KEY=os.environ.get("OPENAI_API_KEY") if OPENAI_API_KEY: os.environ["OPENAI_API_KEY"]=OPENAI_API_KEY Começamos importando as principais bibliotecas Python necessárias para o fluxo de trabalho de pesquisa automatizado. Instalamos todas as dependências necessárias e clonamos o repositório autoresearch diretamente do GitHub, garantindo que o ambiente inclua o framework de treinamento original. Também configuramos o acesso à chave de API do OpenAI, se disponível, permitindo que o sistema suporte opcionalmente a experimentação assistida por LLM posteriormente no pipeline. Copy Code Copied Use a different Browser prepare_path=Path("prepare.py") train_path=Path("train.py") program_path=Path("program.md") prepare_text=prepare_path.read_text() train_text=train_path.read_text() prepare_text=re.sub(r"MAX_SEQ_LEN = \d+","MAX_SEQ_LEN = 512",prepare_text) prepare_text=re.sub(r"TIME_BUDGET = \d+","TIME_BUDGET = 120",prepare_text) prepare_text=re.sub(r"EVAL_TOKENS
Fonte: MarkTechPost
Publicado em 2026-03-12