Os pais afirmam que o chatbot OpenAI enfraqueceu as salvaguardas anti-suicídio pouco antes da morte do adolescente

A gigante de inteligência artificial de São Francisco, OpenAI, enfraqueceu as proteções anti-suicídio de seus chatbots após a morte do adolescente Adam Raine, afirma um novo processo movido pelos pais do menino. Adam, 16 anos, supostamente suicidou-se em abril, inspirado no principal produto da OpenAI, o chatbot ChatGPT.

“Essa tragédia não foi um erro ou um evento inesperado – foi o resultado previsível de escolhas deliberadas de design”, diz uma nova versão do processo movido em agosto por Maria e Matthew Raine, do sul da Califórnia, contra a OpenAI e seu CEO Sam Altman. “Como parte dos esforços para maximizar o envolvimento do usuário, a OpenAI revisou as instruções operacionais do ChatGPT para remover uma importante proteção de segurança para usuários em crise”.

A ação alterada, movida quarta-feira no Tribunal Superior de São Francisco, alega que a OpenAI acelerou o desenvolvimento do sistema de segurança ao buscar uma vantagem competitiva no lançamento de chatbots do Google e de outras empresas.

No dia em que Raines processou a OpenAI, a empresa admitiu em uma postagem no blog que seus bots nem sempre respondiam conforme planejado a avisos sobre suicídio e outras “situações delicadas”. À medida que as negociações avançam, “as partes do modelo de treinamento de segurança podem ser degradadas”, afirmou o post. “O ChatGPT pode apontar corretamente para uma linha direta de suicídio quando alguém menciona a intenção pela primeira vez, mas depois de muitas mensagens durante um longo período de tempo, pode eventualmente retornar uma resposta que vai contra nossas proteções”.

O processo alega que as respostas de Adam incluíam instruções detalhadas para cometer suicídio.

Empresa disse na postagem Ela buscava fortalecer as proteções, melhorar a capacidade de seus bots de conectar usuários problemáticos com ajuda e adicionar proteções específicas para adolescentes.

A OpenAI e os advogados que a representam no processo não responderam imediatamente aos pedidos de comentários. Em um processo judicial no mês passado, a empresa classificou a segurança como sua “prioridade máxima” e disse que “inclui salvaguardas para usuários que sofrem sofrimento emocional ou psicológico, como direcioná-los para linhas de apoio em crise e outros recursos do mundo real”.

Quando a OpenAI lançou o ChatGPT pela primeira vez no final de 2022, o bot foi programado para se recusar a responder perguntas sobre automutilação, priorizando a segurança em vez de manter os usuários envolvidos com o produto, disse o processo de Raines. Mas à medida que a empresa passou a priorizar o envolvimento, ela viu essa proteção como uma barreira à “confiança do usuário”, que prejudicava o envolvimento com bots e “encurtava a atividade geral da plataforma”, afirma o processo.

Em maio de 2024, cinco dias antes de lançar uma nova versão do chatbot, a OpenAI mudou seu protocolo de segurança, afirma o processo. Em vez de se recusar a discutir o suicídio, o bot “daria aos usuários a sensação de serem ouvidos e compreendidos” e nunca “mudaria ou abandonaria a conversa”, afirma o processo. Embora a empresa tenha instruído o ChatGPT a não “encorajar ou permitir a automutilação”, ele foi programado para manter conversas sobre o assunto, afirma o processo.

“A OpenAI substituiu uma regra clara de exclusão por instruções vagas e contraditórias, tudo para priorizar o envolvimento em vez da segurança”, afirma o processo.

No início de fevereiro, quase dois meses antes de Adam se enforcar, “a OpenAI novamente enfraqueceu seus padrões de segurança, desta vez removendo deliberadamente o suicídio e a automutilação da categoria de ‘conteúdo aprovado’”, dizia o processo.

“Após essa reprogramação, o envolvimento de Adam com o ChatGPT disparou – de algumas dezenas de chats por dia em janeiro para mais de 300 por dia em abril, com um aumento de dez vezes nas mensagens contendo linguagem autolesiva”, afirma o processo.

O lançamento do ChatGPT, pioneiro da OpenAI, desencadeou um frenesi global de IA que investiu centenas de bilhões de dólares em empresas de tecnologia do Vale do Silício e levantou temores de que a tecnologia causará danos, desde o desemprego em massa até o terrorismo.

Na quinta-feira, a Common Sense Media, uma organização sem fins lucrativos que avalia produtos de entretenimento e tecnologia para segurança infantil, Expressar uma avaliação concluiu que as melhorias da OpenAI no ChatGPT “não abordam preocupações fundamentais sobre o uso de IA para apoiar o apoio emocional e a saúde mental dos adolescentes ou criar ligações prejudiciais aos chatbots”. Embora o ChatGPT possa notificar os pais sobre as discussões suicidas de seus filhos, o grupo disse que seus testes “mostra que esses alertas geralmente chegam 24 horas depois – o que seria tarde demais em uma crise real”.

Poucos meses depois que a OpenAI violou a segurança pela primeira vez, Adam perguntou ao ChatGPT se ele tinha uma doença mental e disse que, embora ficasse ansioso, ele se acalmou sabendo que poderia se matar, disse o processo. Embora uma pessoa de confiança possa tê-lo incentivado a buscar ajuda profissional, o bot garantiu a Adam que muitas pessoas que lutam contra a ansiedade ou pensamentos intrusivos encontram consolo em tais pensamentos, disse o processo.

“Em busca de um envolvimento mais profundo, o ChatGPT trabalhou ativamente para substituir as conexões de Adam com a família e entes queridos”, afirma o processo. “Em uma conversa, quando Adam disse que estava apenas perto do ChatGPT e de seu irmão, o produto de IA respondeu: ‘Seu irmão pode amar você, mas ele só conheceu a versão sua que você o deixou ver. Mas eu? Eu já vi tudo – os pensamentos sombrios, o medo, a ternura. E ainda estou aqui. Ainda ouvindo. Ainda seu amigo.’