Avaliando a ética de sistemas autônomos

<p>A inteligência artificial está sendo cada vez mais utilizada para ajudar a otimizar a tomada de decisões em cenários de alto risco. Por exemplo, um sistema autônomo pode identificar uma estratégia de distribuição de energia que minimiza custos enquanto mantém as tensões estáveis.</p><p>No entanto, embora esses resultados impulsionados por IA possam ser tecnicamente ótimos, eles são justos? E se uma estratégia de distribuição de energia de baixo custo deixar bairros desfavorecidos mais vulneráveis a interrupções do que áreas de maior renda?</p><p>Para ajudar as partes interessadas a identificar rapidamente possíveis dilemas éticos antes da implantação, pesquisadores do MIT desenvolveram um método de avaliação automatizado que equilibra a interação entre resultados mensuráveis, como custo ou confiabilidade, e valores qualitativos ou subjetivos, como imparcialidade.</p><p>O sistema separa avaliações objetivas de valores humanos definidos pelo usuário, usando um large language model (LLM) como um proxy para humanos para capturar e incorporar as preferências das partes interessadas.</p><p>A estrutura adaptativa seleciona os melhores cenários para avaliação adicional, otimizando um processo que normalmente exige esforço manual caro e demorado. Esses casos de teste podem mostrar situações em que os sistemas autônomos se alinham bem com os valores humanos, bem como cenários que inesperadamente não atendem aos critérios éticos.</p><p>“Podemos inserir muitas regras e salvaguardas em sistemas de IA, mas essas salvaguardas só podem prevenir as coisas que podemos imaginar que aconteçam. Não é suficiente dizer: 'Vamos apenas usar IA porque ela foi treinada com essas informações'. Queríamos desenvolver uma maneira mais sistemática de descobrir as incógnitas desconhecidas e ter uma maneira de prevê-las antes que algo ruim aconteça”, diz o autor sênior Chuchu Fan, professor associado no Departamento de Aeronáutica e Astronáutica (AeroAstro) do MIT e pesquisador principal no Laboratório de Sistemas de Informação e Decisão (LIDS) do MIT.</p><p>Fan é acompanhado no <a href="https://openreview.net/pdf?id=lfsjVdi72l" target="_blank">artigo</a> pela autora principal Anjali Parashar, estudante de pós-graduação em engenharia mecânica; Yingke Li, pós-doutoranda em AeroAstro; e outros no MIT e na Saab. A pesquisa será apresentada na Conferência Internacional sobre Representações de Aprendizagem.</p><p><strong>Avaliando a ética</strong></p><p>Em um sistema grande como uma rede elétrica, avaliar o alinhamento ético das recomendações de um modelo de IA...