O site de chatbot Character.ai está proibindo adolescentes de conversar com personagens virtuais, após enfrentar críticas sobre a forma como os jovens interagem com companheiros online.
Fundada em 2021, a plataforma é utilizada por milhões de pessoas para conversar com chatbots alimentados por inteligência artificial (IA).
Mas enfrenta vários processos judiciais movidos por pais nos EUA, incluindo um pela morte de um adolescente, que alguns chamam de “perigo claro e presente“Para os jovens.
Agora, Character.ai diz que a partir de 25 de novembro, menores de 18 anos poderão criar conteúdo como vídeos com seus personagens, em vez de apenas conversar com eles como fazem atualmente.
A empresa disse que estava fazendo as mudanças após “relatórios e feedback de reguladores, especialistas em segurança e pais”, que destacaram preocupações sobre as interações de seus chatbots com adolescentes.
Os especialistas alertaram anteriormente que os chatbots de IA podem ser artificiais, excessivamente entusiasmados e representar um risco para pessoas jovens e vulneráveis com empatia.
“O anúncio de hoje é uma continuação da nossa crença comum de que precisamos construir a plataforma de IA mais segura do planeta para fins de entretenimento”, disse Karandeep Anand, chefe da Character.ai, à BBC News.
Ele disse que a proteção de IA era “uma meta contínua”, mas algo para o qual a empresa adotou uma abordagem “agressiva”. Controles parentais e proteções.
O grupo de segurança online Internet Matters saudou o anúncio, mas disse que as medidas de segurança deveriam ter sido incorporadas desde o início.
“Nossa própria pesquisa mostra que as crianças estão expostas a conteúdo prejudicial e correm risco ao interagir com IA, incluindo chatbots de IA”, afirmou.
Apelou às “plataformas, pais e decisores políticos” para garantirem que as experiências das crianças com a utilização da IA sejam seguras.
Character.ai foi criticado no passado por hospedar chatbots potencialmente prejudiciais ou ofensivos com os quais as crianças podem conversar.
Em 2023, o avatar disfarçado de Brianna Gay, a adolescente britânica assassinada, e Molly Russell, que suicidou-se aos 14 anos depois de ver material suicida online, foram Descoberto no local em 2024 antes de derrubar.
Mais tarde, em 2025, o Bureau of Investigative Journalism (TBIJ) encontrou um chatbot baseado no pedófilo Jeffrey Epstein que registrou mais de 3.000 bate-papos com usuários.
A saída disse O avatar “Bestie Epstein” continua flertando com seu repórter enquanto eles dizem que são crianças. Foi um dos vários bots sinalizados pelo TBIJ que mais tarde foram derrubados pelo Character.ai.
Anand disse que o novo foco da empresa era fornecer recursos de “jogabilidade ainda mais profunda (e) narrativa de role-play” para adolescentes – acrescentando que eles eram “muito mais seguros do que eles poderiam fazer com bots abertos”.
Também chegarão sistemas de verificação da nova era, e a empresa financiará um novo laboratório de pesquisa de segurança de IA.
O especialista em mídia social Matt Navara disse que foi um “alerta” para a indústria de IA, que está passando “da inovação não sancionada para a regulamentação pós-crise”.
“Quando uma plataforma que cria uma experiência adolescente ainda desliga, está dizendo que o bate-papo filtrado não é suficiente quando a atração emocional da tecnologia é forte”, disse ele à BBC News.
“Não se trata de deslizamentos de conteúdo. Trata-se de como os bots de IA imitam relacionamentos reais e confundem os limites para os usuários jovens.”
Navara acrescentou que o grande desafio da Character.ai será criar uma plataforma de IA envolvente que os adolescentes ainda queiram usar, em vez de optar por “alternativas menos seguras”.
Enquanto isso, a Dra. Nomisha Kurian, que pesquisou a segurança da IA, disse que restringir o uso de chatbots por adolescentes foi “uma jogada inteligente”.
“Isso ajuda a separar a brincadeira criativa de interações mais pessoais e emocionalmente sensíveis”, diz ela.
“Isso é crucial para os jovens usuários que ainda estão aprendendo a navegar pelas fronteiras emocionais e digitais.
“Os novos movimentos da Character.ai podem refletir um estágio de amadurecimento na indústria de IA – a proteção infantil é cada vez mais reconhecida como uma prioridade urgente para a inovação responsável.”
