Pesquisadores da PhAI Labs, CUHK, Fudan, Stanford, Oxford e Princeton lançaram o JEPA-Anything, uma estrutura agnóstica de domínio para construir modelos de mundo. Em vez de projetar um novo modelo preditivo para cada campo, ele aplica uma receita de aprendizado compartilhada a sistemas muito diferentes. Ele estende as arquiteturas preditivas de embedding conjunto (JEPAs) com um método chamado Fatorização Preditiva Ortogonal (OPF). A equipe de pesquisa testou-o em 7 domínios: visão, biologia, trajetórias clínicas, controle, dinâmica molecular, campos físicos e clima. Que problema o JEPA-Anything resolve? Uma JEPA padrão, como I-JEPA ou V-JEPA 2, usa um codificador de contexto, um codificador de alvo EMA e um preditor. O preditor gera um embedding de alvo monolítico. A equipe de pesquisa chama isso de problema de alocação de capacidade: a estrutura de alta variância domina, e modos mais fracos recebem gradientes conflitantes. Como funciona a Fatorização Preditiva Ortogonal? A OPF divide o alvo latente de largura d em K subespaços aprendidos de largura r, com d = K × r. A maioria dos experimentos usa K = 4. Cada fator recebe um preditor dedicado. As previsões dos fatores são então recombinadas através da pseudoinversa de Moore-Penrose da matriz do projetor. O resultado é 1 estado latente completo para decodificação, planejamento ou rollout. Três regularizadores mantêm os fatores úteis: Perda de Ortogonalidade: mantém as colunas dentro de cada projetor ortonormais e diferentes projetores em subespaços não sobrepostos. Perda de Atividade do Fator: um hinge na desvio padrão por coordenada para que nenhum fator morra. Perda de Variância do Codificador: envia um sinal anti-colapso direto para o codificador online. A perda OPF é simplesmente adicionada à perda de treinamento original de cada domínio. Adaptadores de domínio lidam com tokenização e codificadores; a biblioteca central expõe o núcleo compartilhado como OrthogonalFactorProjection. A ortogonalidade é importante para a síntese estável. No CITRIS Interventional Pong, um modelo multi-head não restrito com capacidade correspondente tinha um número de condição de 438,52. O orth
Fonte: MarkTechPost
Publicado em 2026-10-06