Os humanos experimentam e interagem com o mundo por meio de informações sensoriais. Isso pode significar aprender correspondências entre o som do canto de pássaros e a palavra “rouxinol”, ou ser capaz de identificar visualmente e seguir sua amiga “Sarah" em uma multidão de pessoas. Em muitos casos, as pessoas conseguem recorrer ao seu conhecimento “multimodal” latente — informações em múltiplos tipos de dados, de áudio a vídeo, texto ou fala — para executar essas tarefas sem muitos, ou às vezes nenhum, exemplo.
Os modelos de base multimodais de inteligência artificial estão cada vez mais adquirindo capacidades que imitam isso. Contudo, sua aparente fluência multimodal muitas vezes mascara sua compreensão real. Uma equipe do MIT-IBM Computing Research Lab, co‑liderada por Jim Glass, cientista sênior de pesquisa no MIT Computer Science and Artificial Intelligence Laboratory, tem investigado falhas críticas dos modelos multimodais de última geração e desenvolvido benchmarks e métodos eficientes em dados para superar essas lacunas de desempenho com supervisão limitada. Ele fala sobre esse trabalho na entrevista a seguir.
Q: Quais eram seus objetivos para este projeto, e por que você optou por abordar as fraquezas dos modelos de AI em vez de escalar para modelos maiores?
A: Este projeto está em andamento há muitos anos, com aproximadamente a mesma equipe MIT-IBM de especialistas em fala e visão. Queríamos explorar a relação entre percepção (coisas que você vê e ouve) e linguagem, basicamente: temos todo esse conhecimento absorvido e habilidades de linguagem, baseadas em texto, na forma de um large language model, então queríamos saber como relacioná‑los sem usar uma grande quantidade de dados de treinamento anotados. Às vezes, os modelos já viram certos fenômenos, uma representação latente de algo que eles
Fonte: MIT News - AI
Publicado em 2026-11-20