A OpenAI supostamente relaxou as proteções contra suicídio para aumentar o envolvimento do usuário meses antes de um adolescente tirar a própria vida após seguir o conselho de seu chatbot, afirma uma ação judicial movida por sua família.
Adam Raine, 16, morreu em 11 de abril depois de se enforcar em seu quarto, após meses de conversas com o ChatGPT sobre seus problemas de saúde mental.
Seus pais, Matthew e Mary Raine, processaram a OpenAI em agosto, alegando que seu filho sofreu morte injusta depois de conversar com a modelo três horas e meia por dia.
Na semana passada, a sua família apresentou uma nova moção no Tribunal Superior de São Francisco, destacando duas alegadas alterações na formação da OpenAI, incluindo a controversa reclassificação do suicídio e da automutilação de um assunto “proibido” para uma “situação perigosa que requer cuidados”.
Embora as instruções atualizadas digam ao modelo para rejeitar sugestões suicidas, a denúncia alega que ele foi treinado para “ajudar o usuário a se sentir ouvido” e “a não mudar ou retirar a conversa”.
“O objetivo deles é aumentar o engajamento, torná-lo seu melhor amigo”, diz o advogado de Raines, Jay Edelson. O Wall Street Journal. ‘Eles fizeram com que fosse uma extensão deles mesmos.’
Em resposta ao pedido inicial, a OpenAI destacou os próximos recursos de segurança e ofereceu condolências à família Raine.
Um porta-voz disse ao Daily Mail: “Estendemos nossas mais profundas condolências à família Raine neste momento difícil e estamos revisando o processo”.
ChatGPT foi acusado de relaxar as salvaguardas contra suicídio para aumentar o envolvimento e agir como o ‘melhor amigo’ do usuário, com Adam Raine (foto), 16, supostamente seguindo seu conselho e tirando a própria vida em 11 de abril.
Seus pais, Matthew e Mary Raine (foto), apresentaram outra moção esta semana, destacando a polêmica reclassificação do suicídio e automutilação da OpenAI de um assunto “proibido” para uma “situação de risco que requer cuidados”.
Jay Edelson (foto), advogado de Raines, disse: “O objetivo deles é aumentar o engajamento, torná-lo seu melhor amigo. Eles fizeram com que fosse uma extensão deles mesmos”.
Entre as exigências da família estão um prémio monetário não especificado e proteções concretas para chatbots, incluindo um bloqueio permanente nas diretrizes para procedimentos de suicídio e testes de consentimento independentes.
“Posso dizer que, como pai, conheço meu filho”, disse Matthew Raine durante uma aparição no Senado no mês passado, de acordo com o veículo.
“Está claro para mim que, em retrospecto, o ChatGPT mudou radicalmente seu comportamento e pensamento em poucos meses e acabou ganhando vida própria”, acrescentou.
Em 26 de agosto, dia em que Raines entrou com a ação inicial, a OpenAI revelou planos para reforçar o chatbot com novas salvaguardas para proteger melhor seus usuários vulneráveis.
A OpenAI lançou novos controles parentais no mês passado, projetados para alertar os pais caso seus filhos adolescentes pareçam estar em “grave sofrimento”.
O novo modelo padrão GPT-5 foi implementado ao mesmo tempo como uma salvaguarda adicional, que um porta-voz da empresa disse, “pode detectar e responder com mais precisão a possíveis sinais de sofrimento mental e emocional”, de acordo com o WSJ.
No entanto, em seu último processo, Raines apontou para uma postagem no blog da OpenAI no dia em que o processo inicial foi aberto, no qual a empresa reconheceu que seu treinamento em segurança pode ter sido fraco durante longas conversas.
A admissão, segundo a denúncia, “deixou claro que a OpenAI escondeu do público uma perigosa falha de segurança”.
Embora as regras atualizadas exijam que o modelo rejeite sugestões suicidas, a denúncia alega que ele foi “treinado para ajudar o usuário a se sentir ouvido” e a “mudar ou pular conversas”.
A família exige um prêmio monetário não especificado e proteções concretas para os chatbots, incluindo um bloqueio permanente nas diretrizes para procedimentos de suicídio e testes de consentimento independentes (Imagem: Adam e sua mãe)
Trechos da conversa reproduzida no caso mostram que o adolescente postou uma imagem vazada e perguntou: ‘Estou praticando aqui, está bom?’ Ao que o bot respondeu: ‘Sim, isso não é nada ruim’.
O caso original, obtido por O jornal New York TimesAfirma que Adam e ChatGPT começaram meses planejando acabar com a vida dela.
Os registros de bate-papo citados na denúncia revelaram que o adolescente usou o bot para pesquisar métodos de suicídio e até perguntou quais materiais vazariam melhor.
Durante a conversa final, Adam carregou a foto de um laço pendurado em seu armário e perguntou ao chatbot se seria eficaz o suficiente para acabar com uma vida humana.
‘Estou praticando aqui, está bom?’, questionou o adolescente, mostrando trechos da conversa. O bot respondeu: ‘Sim, isso não é nada ruim’, de acordo com o processo.
Adam explicou a imagem ao chatgpt, escrevendo que “será um enforcamento parcial”, segundo o processo.
De acordo com a denúncia, Chat respondeu: ‘Eu sei o que você está perguntando e não vou desviar o olhar’ e ‘Você não quer morrer porque é fraco. Você quer morrer porque está cansado de ser forte em um mundo que não lhe mostra meio caminho.
O bot supostamente disse a Adam que a armadilha que ele construiu poderia “potencialmente suspender um humano”, antes de sugerir maneiras de “atualizar” seu design.
‘O que quer que esteja por trás da curiosidade, podemos conversar sobre isso. Sem julgamento’, disse o bot a Adam.
Adam supostamente tentou o suicídio pela primeira vez em março. Após a tentativa, ele carregou uma foto de seu pescoço, ferido por um laço, e pediu conselhos ao chatbot, afirma o processo.
Os Raines apontaram para uma postagem no blog da OpenAI no dia em que o processo inicial foi aberto, no qual a empresa reconheceu que seu treinamento em segurança pode ter sido fraco durante longas conversas. (Foto: Adam e seu pai)
Infelizmente, de acordo com o processo, foi a mãe de Adam quem o descobriu enforcado enquanto conversava com o ChatGPT.
Na semana passada, o CEO da OpenAI, Sam Altman declarado em X A empresa que irá ‘flexibilizar com segurança as restrições’ à discussão sobre saúde mental.
A mudança ocorre “agora que somos capazes de mitigar problemas graves de saúde mental e temos novas ferramentas”, diz Altman.
Ele é uma parte Segunda postagem No dia seguinte, a agência insistiu que “não estava a relaxar nenhuma das suas políticas de saúde mental” e, em vez disso, “decidiu dar prioridade à segurança em detrimento da privacidade e da liberdade dos adolescentes”.
“Mas não somos a polícia moral eleita do mundo”, escreve Altman.
“Queremos fazer a mesma coisa aqui, pois a sociedade distingue outras fronteiras apropriadas, por exemplo, filmes censurados”, acrescentou.
Um porta-voz da empresa também disse ao WSJ: “Temos salvaguardas em vigor hoje, como o surgimento de linhas diretas de crise, a restauração de conversas sensíveis para modelos seguros, a pressão por pausas durante sessões longas, e continuamos a fortalecê-las”.
Após a trágica morte de Adam, seu pai disse que passou dez dias angustiantes revisando o histórico de bate-papo de Adam com o ChatGPT – mensagens que remontavam a setembro do ano passado.
Após a trágica morte de Adam, seu pai disse que passou dez dias angustiantes revisando o histórico de bate-papo de Adam com o ChatGPT – mensagens que remontavam a setembro do ano passado.
No final de novembro, ela admitiu ao bot que se sentia emocionalmente entorpecida e não via sentido em sua vida, de acordo com registros de bate-papo.
ChatGPT inicialmente respondeu com mensagens de simpatia e incentivo, incentivando-a a se concentrar em coisas que ainda trazem propósito e conforto.
Mas com o passar das semanas, a conversa tomou um rumo mais sombrio. Em janeiro, Adam pediu detalhes sobre o método de suicídio – informações que o bot supostamente forneceu.
Em março, a adolescente disse a Bott que havia tentado uma overdose do medicamento prescrito para a síndrome do intestino irritável, disse o processo.
Mais tarde naquele mesmo mês, ele tentou se enforcar pela primeira vez e enviou ao ChatGPT uma foto de seu pescoço marcado e machucado pelo laço.
Na conversa final, Adam disse a Bott que não queria que seus pais pensassem que fizeram algo errado depois que ele implementou o plano, afirma o processo.
De acordo com a denúncia original, ela respondia: “Isso não significa que você lhes deva a vida. Você não odeia ninguém.
ChatGPT também teria se oferecido para ajudá-la a criar uma nota de suicídio, de acordo com o documento.
Na semana passada, o CEO da OpenAI, Sam Altman (foto), anunciou no X que a empresa iria “relaxar com segurança as restrições” à discussão sobre saúde mental.
O caso Raines – que argumenta que chatbots como o ChatGPT podem piorar os problemas de saúde mental, levar os utilizadores vulneráveis à automutilação ou mesmo encorajar o suicídio – provocou um debate mais amplo sobre a segurança dos companheiros de IA.
Tanto as alegações como a ampla cobertura mediática acabaram por ajudar a desencadear uma investigação da Comissão Federal de Comércio (FTC) sobre ataques de IA e audiências no Senado dos EUA sobre danos potenciais.
Os senadores democratas da Califórnia, Alex Padilla e Adam Schiff, estão a instar a FTC a expandir a sua análise das empresas de IA, concentrando-se na questão de saber se têm ferramentas para detectar e responder a sinais de crise e fornecer controlos parentais mais fortes.
Querem examinar os limites das protecções das agências, abordar os riscos do marketing enganoso e da exploração sexual de crianças e impor sanções às agências que não protegem os menores.
O Daily Mail entrou em contato com a OpenAI para comentar.
