A inteligência artificial é muito boa para ajudar a economizar tempo para encontrar informações, mas ela tem um lado negro: frequentemente, ela traz respostas totalmente erradas e baseadas em fontes não confiáveis.
Estudo realizado por uma equipe da Salesforce AI Research descobriu que “um terço das afirmações feitas por ferramentas de AI como Perplexity, You.com e Bing Chat traziam informações baseadas em fontes suspeitas”. No GPT 4.5, esse número foi de 47%.
Pesquisadores testaram as ferramentas com 300 perguntas
Para identificar o problema, a equipe liderada por Pranav Narayanan Venkit desenvolveu uma estrutura de auditoria chamada DeepTRACE, explica o TechXplore. O sistema fez mais de 300 perguntas para os chatbots e mediu o desempenho de cada um deles em relação a oito métricas, entre elas excesso de confiança, precisão das citações e unilateralidade.
As questões foram divididas em duas categorias:
Perguntas de debate – para ver se a IA consegue fornecer respostas equilibradas sobre temas polêmicos.
Perguntas de conhecimento especializado – para testar o que a IA sabe em áreas específicas.
As respostas foram avaliadas pelo DeepTrace e pesquisadores revisaram os resultados para confirmar se estavam corretos ou não.
Sistemas de inteligência artificial mostram ser tendenciosos
Os pesquisadores perceberam que, nas perguntas de debate, a IA costumava assumir apenas um lado da questão, criando um efeito de câmara de eco, em que a pessoa só vê informações que confirmam sua própria opinião, ignorando outros pontos de vista.
Além disso, o estudo mostrou que muitas respostas da IA continham informações falsas ou sem respaldo nas fontes citadas, e que as citações corretas apareciam apenas em 40% a 80% das vezes em alguns sistemas.
Leia mais:
Chatbots de IA podem criar golpes de phishing eficazes
Chatbots da IA julgam dilemas morais de forma diferente
Mais um caso: adolescente morre após conversas com chatbot de IA
A pesquisa demonstra as principais falhas da IA atualmente, mas também forneceu um modelo que permite avaliar esses sistemas com precisão.
Nossas descobertas demonstram a eficácia de uma estrutura sociotécnica para auditoria de sistemas sob a ótica das interações reais do usuário.
Pranav Narayanan Venkit, pesquisador da Salesforce AI Research, ao TechXplore.
As descobertas “destacam que os sistemas de IA baseados em busca exigem um progresso substancial para garantir a segurança e eficácia das respostas, ao mesmo tempo em que mitigam riscos.”, explica o pesquisador.
O estudo serve como um alerta para as pessoas que buscam respostas em chatbots de IA. Ao mesmo tempo que as ferramentas são práticas e rápidas para responder às questões, não se pode confiar plenamente nelas.
O post Inteligência artificial: estudo mostra respostas erradas e vieses em chatbots apareceu primeiro em Olhar Digital.
