Neste tutorial, projetamos um pipeline de aprendizado de robótica por streaming ponta a ponta em torno do conjunto de dados NVIDIA Cosmos3-DROID sem baixar seu repositório de 707 GB localmente. Primeiro, inspecionamos a estrutura LeRobotDataset v3.0 e construímos um grafo de metadados a partir de info.json, metadados de tarefa, tabelas de episódio e estatísticas do conjunto de dados. Em seguida, usamos acesso HTTP por intervalo de bytes com PyArrow para ler seletivamente grupos de linhas e colunas Parquet. Convertemos episódios individuais em trajetórias estado-ação e analisamos o movimento articular, eventos da garra, caminhos cartesianos do efetuador final e espectros de frequência de ação antes de decodificar apenas as janelas de vídeo AV1 necessárias através de acesso PyAV/FFmpeg baseado em busca. Em seguida, normalizamos observações e ações usando estatísticas do conjunto de dados, construímos um conjunto de dados PyTorch chunked estilo ACT com condicionamento visual opcional e treinamos uma política de clonagem de comportamento multimodal. Finalmente, avaliamos a política aprendida através de um rollout em malha aberta (open-loop rollout) com blocos de ação agregados temporalmente (temporally ensembled), relatamos o MSE e R^2 por junta em relação a uma linha de base de ação média, visualizamos ações previstas versus ações de verdade-terreno (ground-truth) e salvamos o checkpoint completo da política para uso posterior. Copy Code Copied Use a different Browser import subprocess, sys, os, json, math, time, warnings, random, tempfile warnings.filterwarnings("ignore") subprocess.run([sys.executable, "-m", "pip", "install", "-q", "huggingface_hub>=0.34.0", "pyarrow>=15.0", "av>=12.0", "pandas", "matplotlib", "tqdm"], check=False) import numpy as np, pandas as pd, pyarrow as pa, pyarrow.parquet as pq import matplotlib.pyplot as plt from huggingface_hub import HfApi, HfFileSystem, hf_hub_download, hf_hub_url import torch, torch.nn as nn, torch.nn.functional as F from torch.utils.data import Dataset, DataLoader REPO_ID = "nvidia/Cosmos3-DROID" ROOT = "success" VIDEO_KEY = "observation.image.wrist_image_left" FPS = 15 N_EPISODES = 48 HORIZON = 8 OBS_HISTORY = 2 USE_VISION = True N_VIS_EPS = 6 VIS_SIZE = 96 EPOCHS = 12 BATCH = 256 SEED = 0 random.seed(SEED); n
Fonte: MarkTechPost
Publicado em 2026-10-05