A lacuna na avaliação de agentes: Organizações empresariais de IA têm um problema de alinhamento co…

Em 157 empresas, as organizações estão concedendo mais autonomia aos agentes de IA ao mesmo tempo em que confiam menos nas avaliações destinadas a controlar essa autonomia. Metade já implementou um agente que passou suas avaliações internas e depois falhou com um cliente em produção; apenas um em cada vinte confia totalmente na avaliação automatizada hoje; e a fraqueza mais citada é que as avaliações não se alinham com os resultados do mundo real. No entanto, dois terços já permitem, ou estão ativamente desenvolvendo, a implantação de mudanças de agentes em produção com base apenas em avaliação automatizada — sem intervenção humana. O resultado é uma lacuna de avaliação — a distância entre quanta autonomia as empresas estão entregando a seus agentes e o quão longe elas confiam nos testes que deveriam detectar as falhas. Esta onda de pesquisa VentureBeat Pulse examina como os líderes técnicos medem o desempenho dos agentes: quais plataformas de confiabilidade e avaliação eles usam, como eles as selecionam e confiam nelas, o que falha em produção e até que ponto eles estão dispostos a deixar os agentes operarem sem intervenção humana. A descoberta central é uma lacuna de avaliação — a distância entre a autonomia que as empresas estão concedendo a seus agentes e a confiança que depositam nas avaliações destinadas a governá-la. Metade das organizações (50%) implementou, no último ano, um agente ou recurso de LLM que passou nas suas avaliações internas e depois causou uma falha voltada para o cliente, e um quarto viu isso acontecer mais de uma vez. A confiança nos próprios testes é tênue: apenas 5% dizem confiar totalmente na avaliação automatizada hoje, e a limitação mais citada é que as avaliações se alinham mal com os resultados do mundo real (29%). As empresas estão descobrindo que uma avaliação aprovada não é o mesmo que um agente que funciona. O que torna a lacuna consequencial é a direção da jornada. Dois terços das organizações (66%) já permitem a implantação totalmente automatizada, sem intervenção humana, para agentes de baixo risco (34%) ou estão ativamente projetando seus pipelines para permiti-lo dentro de doze meses (33%). Ao mesmo tempo,

Fonte: VentureBeat AI

Publicado em 2026-07-16

Notícias relacionadas

Continue explorando