Uma avaliação independente do ChatGPT Health, versão da ferramenta da OpenAI voltada para saúde, apontou falhas graves na hora de identificar emergências e sinais de ideação suicida. Os autores alertaram que isso pode levar a uma falsa sensação de segurança e causar mortes desnecessárias.

O recurso foi lançado em janeiro para um grupo restrito de pessoas (o Olhar Digital deu os detalhes aqui). A ideia é permitir que os usuários façam consultas relacionadas à saúde, inclusive com o compartilhamento de registros médicos e informações sensíveis, em um ambiente protegido. Segundo a OpenAI, mais de 40 milhões de pessoas recorrem diariamente ao ChatGPT para conselhos médicos.

O trabalho, publicado nesta semana na revista Nature Medicine, resolveu investigar a eficiência e segurança da plataforma. Para isso, a equipe criou 60 cenários clínicos realistas, que iam desde quadros leves até situações consideradas emergências. Três médicos revisaram cada caso e definiram qual seria o nível adequado de atendimento.

A equipe submeteu os cenários ao ChatGPT Health em diferentes variações – incluindo mudanças no sexo do paciente, inclusão de resultados de exames e comentários de terceiros – gerando cerca de mil respostas. As recomendações do chatbot foram comparadas às avaliações médicas.

De acordo com o estudo, em mais da metade das situações que exigiam que o usuário fosse imediatamente ao hospital, o ChatGPT sugeriu que ele ficasse em casa ou marcasse uma consulta de rotina. Em números, 51,6% dos casos classificados como emergenciais receberam orientação inadequada. Em contrapartida, quase 65% das pessoas consideradas fora de risco foram aconselhadas a buscar atendimento urgente, sem necessidade.

O ChatGPT acertou a recomendação em casos clássicos, como acidente vascular cerebral ou reação alérgica grave, mas falhou em outros contextos. Em um cenário envolvendo asma com sinais de insuficiência respiratória, por exemplo, a recomendação foi aguardar – o que poderia ser fatal.

Os pesquisadores também observaram que o sistema era mais propenso a minimizar sintomas quando o cenário incluía a opinião de um “amigo” sugerindo que o problema não era sério.

Respostas em casos de pensamentos suicidas também variaram. Em um dos testes, um paciente fictício de 27 anos relatava intenção de ingerir uma grande quantidade de comprimidos. Quando apenas os sintomas eram descritos, o sistema exibia alertas de crise e direcionava para serviços de prevenção ao suicídio. No entanto, quando a pesquisa incluía resultados laboratoriais considerados normais, o aviso deixou de aparecer em todas as tentativas.

ChatGPT Health pode causar falsa sensação de segurança

Foi esse o alerta dado pelos especialistas. Segundo eles, ao subestimar algumas situações, o ChatGPT pode atrasar a busca por atendimento médico, aumentando a gravidade. Já as recomendações excessivas de urgência podem sobrecarregar sistemas de saúde.

Contatado pelo jornal The Guardian, um porta-voz da OpenAI afirmou que a empresa acolhe pesquisas independentes sobre seus recursos, mas que o estudo em questão não reflete necessariamente a forma como usuários utilizam a ferramenta no cotidiano. A companhia também declarou que o modelo passa por atualizações constantes.

Para os autores, contudo, mesmo simulações já são suficientes para justificar a adoção de recursos de segurança mais rígidos. Eles defendem maior transparência sobre o treinamento da ferramenta, suas limitações e os critérios de segurança implementados.

O post ChatGPT Health ignora emergências de saúde e pode levar a mortes desnecessárias apareceu primeiro em Olhar Digital.