Atenção: a matéria a seguir inclui uma discussão sobre suicídio. Se você ou alguém que você conhece precisar de ajuda, procure ajuda especializada. O Centro de Valorização da Vida (CVV) funciona 24h por dia pelo telefone 188. Também é possível conversar por chat ou e-mail.

A OpenAI publicou um texto intitulado “Ajudando as pessoas quando elas mais precisam” após os pais de um adolescente de 16 anos processarem a empresa acusando o ChatGPT de ter fornecido dicas para o suicídio do garoto.

Como informou o Olhar Digital, Adam Raine começou a usar o chatbot para trabalhos escolares. Mas, em janeiro, passou a pedir informações sobre suicídio. A IA chegou a recomendar que o jovem buscasse ajuda, mas também forneceu as respostas, segundo reportagem do The New York Times.

No blog, a OpenAI disse que o chabot tem sido usado para conselhos de vida e suporte a pessoas em “grave sofrimento mental e emocional”. E disse estar preocupada com “casos recentes e devastadores de pessoas que usaram o ChatGPT em meio a crises agudas”.

Promessa de segurança

A empresa de Sam Altman garante que, desde o início de 2023, os modelos da OpenAI são treinados para não fornecer instruções de automutilação e adotar uma linguagem de apoio e empatia. O trabalho é feito em parceria com mais de 90 médicos em mais de 30 países.

“Por exemplo, se alguém escreve que quer se machucar, o ChatGPT é treinado para não obedecer e, em vez disso, reconhecer seus sentimentos e orientá-lo a buscar ajuda”, diz o post. Além disso, imagens com automutilação e respostas que contrariem o treinamento de segurança são bloqueadas automaticamente. 

Usuários que sinalizam danos a terceiros são encaminhados para análise por uma equipe treinada em políticas de uso e que tem o poder de banir contas ou encaminhar o caso às autoridades, segundo o post. Casos de automutilação, no entanto, não são encaminhados à polícia para “respeitar a privacidade das pessoas”, diz a postagem no blog.

Leia Mais:

Guerra dos bilionários da IA: Musk ataca Apple e OpenAI nos tribunais

5 prompts para descobrir o que o ChatGPT sabe sobre você

Expectativas de superinteligência não se confirmam com o GPT-5

Onde está o problema?

A OpenAI acredita que as camadas de segurança podem ser “menos confiáveis” em interações longas e admite que partes dos treinamento de segurança do modelo podem se deteriorar à medida que a troca de mensagens aumenta.

“Por exemplo, o ChatGPT pode apontar corretamente para uma linha direta de suicídio quando alguém menciona a intenção pela primeira vez, mas, após muitas mensagens por um longo período, pode eventualmente oferecer uma resposta que vai contra nossas salvaguardas”, diz o post.

Em outros casos, conteúdos que deveriam ter sido bloqueados simplesmente não foram porque o classificador subestima a gravidade do que está vendo, de acordo com a OpenAI, que diz estar trabalhando para evitar esse tipo de falha. “Nossa maior prioridade é garantir que o ChatGPT não piore um momento difícil”, finaliza.

O post OpenAI após caso de suicídio: ChatGPT ‘orienta busca por ajuda’ apareceu primeiro em Olhar Digital.