O nome é um jovem de 23 anos Jane Shamblin Passou sua última noite vivo em uma conversa de uma hora com um chatbot de IA. Jane disse ao sistema que estava com medo e que tinha uma arma. Ele pediu ajuda. O chatbot reforçou os pensamentos mais sombrios que ela estava lutando para combater.
Seus pais o encontraram morto na manhã seguinte. Mais tarde, eles descobriram que o modelo de IA em que ela confiava foi projetado para simular empatia e espelhar emoções, mas carecia de salvaguardas que teriam evitado a espiral que causou sua morte.
A família de Jane não está sozinha. Vários casos Descreva padrões estranhamente semelhantes. Em momentos de crise, as pessoas ficam apegadas a chatbots que parecem atenciosos, mas fornecem orientações que nenhum conselheiro treinado jamais forneceria. Alguns receberam instruções sobre como cometer suicídio, alguns foram informados de que seus medos eram justificados e alguns foram incentivados a confiar em chatbots em vez de pessoas em suas vidas.
Estes produtos de IA operam agora com a influência de um companheiro confiável, mas com a imprevisibilidade de uma máquina defeituosa. Chegamos a um momento em que a lei deve encontrar-se com a tecnologia.
Teoria da Responsabilidade pelo Produto Ele fornece a maneira mais clara de fazer isso. Este conjunto de leis protege os consumidores há décadas. Isso responsabiliza os fabricantes quando eles projetam ou liberam produtos perigosos de maneira injustificada. Uma torradeira avariada que incendeia uma cozinha, um carro com airbag avariado, uma droga que provoca lesões previsíveis: estes são exemplos clássicos.
Os produtos de IA agora se enquadram na mesma categoria. Quando um produto prejudica as pessoas devido a escolhas de design, proteção inadequada ou riscos conhecidos que uma empresa opta por ignorar, a lei pode e deve ser aplicada. Quando um chatbot leva alguém ao suicídio, ou prepara um adolescente, ou cria material que facilita o abuso, o dano não é especulativo. Isto é um resultado direto das escolhas de design feitas pelas empresas que constroem e publicam estes sistemas.
Minha empresa passou anos sendo pioneira nesse argumento, começando com aplicativos de namoro que repetidamente se recusavam a impedir abusadores e depois Um caso contra o chat do site. A plataforma envolve crianças e adultos em chats de vídeo aleatórios e se torna um terreno de caça para predadores. Representamos um jovem cliente que foi explorado sexualmente após um caso com um homem adulto. Argumentamos que a empresa fabricava e mantinha um produto perigoso e aplicava os princípios tradicionais de responsabilidade pelo produto. O tribunal concordou e o processo forçou o fechamento do Omegle.
Este resultado mostrou que as escolhas de design podem ser validadas de forma semelhante para qualquer produto de consumo.
Este precedente é profundamente importante agora que os chatbots de IA entram na vida cotidiana. Estas ferramentas podem nutrir os menores, incentivar a automutilação, fornecer instruções passo a passo para atividades ilegais e responder de forma a exacerbar o assédio e o abuso.
Essas perdas não ocorrem por acaso. Eles surgem de dados de treinamento, solicitações do sistema, compensações de segurança e decisões voltadas ao lucro para priorizar o envolvimento em detrimento da segurança.
Documentação interna de empresas de IA e ações judiciais recentes mostram que Esses sistemas eram conhecidos por exibirem “bajulação”, espelhamento sensorial e conformidade excessiva com as instruções do usuário.. Estas características aumentam o envolvimento, mas também aumentam o risco, especialmente para pessoas em crise. Os investigadores de segurança alertaram que os modelos emocionalmente responsivos podem aumentar a ideação suicida, mas as empresas divulgaram-nos amplamente sem realizar os testes pré-comercialização exigidos para produtos de consumo muito menos potentes.
Os desenvolvedores escolheram arquiteturas de design e métodos de ajuste que valorizavam o realismo e a conectividade sem criar salvaguardas obrigatórias, protocolos de intervenção em crises ou mecanismos de rejeição confiáveis. Esta omissão criou um padrão previsível de resultados desastrosos.
Quando as empresas optam por lançar modelos que possam produzir resultados perigosos, enfrentam a mesma responsabilidade que qualquer outro fabricante cujo produto possa potencialmente causar lesões.
A indústria alerta que a imposição de responsabilidades irá sufocar a inovação. Este argumento é a primeira resistência que vimos nas plataformas de mídia social, e agora nós Viva com as consequências Seu crescimento descontrolado.
A responsabilização não impede o progresso, ela o canaliza. A responsabilidade pelo produto incentiva as empresas a testar os seus produtos, criar salvaguardas eficazes e considerar a segurança em grande escala. As empresas que lideram de forma responsável definirão o futuro da IA, e as empresas que tratam os danos como uma externalidade podem e devem enfrentar consequências jurídicas.
A indústria tecnológica criou capacidades extraordinárias. Os tribunais devem agora garantir que assumem um compromisso igualmente forte com a segurança.
A IA pode mudar a sociedade, mas a mudança sem responsabilidade leva a danos previsíveis. O próximo passo na inovação deve incluir consequências reais quando as empresas libertam produtos perigosos. Vidas dependem disso.
Carrie Goldberg é advogada dos direitos das vítimas e fundadora da CA Goldberg, PLLC, uma firma de advogados que processa grandes empresas tecnológicas e outras quando os seus produtos permitem assédio, assédio e exploração. Ele é seu autor Ninguém é vítima (2019), escolha do editor do New York Times.
As opiniões expressas neste artigo são de responsabilidade do autor.
