Se você já viu um sistema de captura de movimento lutar com os dedos de uma pessoa, ou um modelo de segmentação falhar em distinguir dentes de gengivas, você já entende por que a visão computacional centrada no ser humano é difícil. Humanos não são apenas objetos; eles vêm com estrutura articulada, detalhes finos de superfície e uma enorme variação em pose, vestuário, iluminação e etnia. Fazer com que um modelo entenda tudo isso, de uma vez, em imagens arbitrárias do mundo real, é genuinamente difícil. A equipe de pesquisa da Meta AI apresentou o Sapiens2, a segunda geração de sua família de modelos de base para visão centrada no humano. Treinado em um novo conjunto de dados curado de 1 bilhão de imagens humanas, abrangendo tamanhos de modelo de 0,4B a 5B de parâmetros, e projetado para operar em resolução nativa de 1K com variantes hierárquicas suportando 4K, o Sapiens2 é um salto substancial em relação ao seu predecessor em todos os benchmarks que a equipe avaliou. https://arxiv.org/pdf/2404.21681 O Que o Sapiens2 Está Tentando Resolver O modelo Sapiens original baseava-se principalmente no pré-treinamento com Masked Autoencoder (MAE). O MAE funciona mascarando uma grande parte dos patches de imagem de entrada, 75% neste caso, e treinando o modelo para reconstruir os pixels ausentes. Isso força o modelo a aprender detalhes espaciais e texturas, o que é útil para tarefas de predição densa como segmentação ou estimativa de profundidade. O problema é que o MAE, como uma forma de modelagem de imagem mascarada (MIM), aprende principalmente por meio da compressão. Ele não aprende naturalmente semânticas de alto nível. Ele pode dizer como algo se parece, mas não necessariamente o que significa no contexto de um corpo humano. É aí que os métodos de aprendizagem contrastiva (CL) como DINO e SimCLR se destacam: eles organizam as representações semanticamente, treinando o modelo para tratar diferentes visões da mesma imagem como semelhantes e visões de imagens diferentes como distintas. Mas o CL tem sua própria desvantagem. Suas estratégias agressivas de aumento, como jitter de cor, desfoque, podem remover pistas de aparência, como tom de pele ou condições de iluminação, que são críticas para tarefas como estimativa de albedo (recuperar a cor verdadeira de uma superfície independentemente da iluminação). É isso que a equipe de pesquisa chama de *representational drift* (deriva de representação). O Sapiens2 aborda esse problema diretamente combinando ambos os objetivos: uma perda de reconstrução de imagem mascarada (LMAE) para preservar a fidelidade de baixo nível, e uma perda contrastiva global (LCL) no token [CLS] usando uma estrutura de estudante-professor baseada em DINOv3, onde os parâmetros do professor são uma exponencial.
Fonte: MarkTechPost
Publicado em 2026-04-27