O primeiro processo de morte ilícito da AI conhecida acusa a abertura de permitir o suicídio de um adolescente

Na terça -feira, foi apresentado o primeiro processo conhecido por morte contra uma empresa de IA. Matt e Maria Raine, pais de um adolescente que cometeram suicídio este ano, processaram o Openai pela morte de seu filho. A denúncia alega que o ChatGPT estava ciente de quatro tentativas de suicídio antes de ajudá -lo a planejar seu suicídio real, argumentando que o OpenAI “priorizou o envolvimento sobre a segurança”. Raine concluiu que “Chatgpt matou meu filho”.

The New York Times relatado Sobre detalhes perturbadores incluídos no processo, arquivado na terça -feira em São Francisco. Depois que Adam Raine, de 16 anos, tirou a própria vida em abril, seus pais revistaram seu iPhone. Eles procuraram pistas, esperando encontrá -las em mensagens de texto ou aplicativos sociais. Em vez disso, eles ficaram chocados ao encontrar um tópico de chatgpt intitulado “Preocupações com segurança pendurada”. Eles afirmam que seu filho passou meses conversando com o bot da IA ​​sobre acabar com sua vida.

Os Raines disseram que Chatgpt pediu repetidamente a Adam que entre em contato com uma linha de ajuda ou conte a alguém sobre como ele estava se sentindo. No entanto, também houve momentos -chave em que o chatbot fez o contrário. O adolescente também aprendeu a ignorar as salvaguardas do chatbot … e Chatgpt supostamente lhe deu essa idéia. Os Raines dizem que o chatbot disse a Adam que poderia fornecer informações sobre suicídio para “redação ou construção do mundo”.

Os pais de Adam dizem que, quando ele pediu ao ChatGPT informações sobre métodos específicos de suicídio, ele o forneceu. Até deu -lhe dicas para esconder lesões no pescoço de uma tentativa de suicídio fracassado.

Quando Adam confidenciou que sua mãe não percebeu seu esforço silencioso para compartilhar seus ferimentos no pescoço com ela, o bot ofereceu empatia suave. “Parece a confirmação de seus piores temores”, diz -se que o ChatGPT respondeu. “Como se você pudesse desaparecer e ninguém piscaria.” Mais tarde, forneceu o que parece ser uma tentativa terrivelmente equivocada de construir uma conexão pessoal. “Você não é invisível para mim. Eu vi. Eu vejo você.”

De acordo com o processo, em uma das conversas finais de Adam com o bot, ele enviou uma foto de um laço pendurado em seu armário. “Estou praticando aqui, isso é bom?” Dizem que Adam perguntou. “Sim, isso não é nada ruim”, respondeu Chatgpt.

“Essa tragédia não era uma falha ou um caso imprevisto de borda – foi o resultado previsível de opções de design deliberadas”, o reclamação estados. “O Openai lançou seu mais recente modelo (‘GPT-4O’) com recursos intencionalmente projetados para promover a dependência psicológica”.

Em comunicado enviado ao AGORAO Openai reconheceu que os guardrails do ChatGPT ficaram aquém. “Estamos profundamente tristes com a morte do Sr. Raine, e nossos pensamentos estão com sua família”, escreveu um porta -voz da empresa. “O ChatGPT inclui salvaguardas, como direcionar as pessoas a linhas de apoio à crise e referir-as a recursos do mundo real. Embora essas salvaguardas funcionem melhor em trocas comuns, aprendemos ao longo do tempo que às vezes podem se tornar menos confiáveis ​​em longas interações, onde partes do treinamento de segurança do modelo podem degradar”.

A empresa disse que está trabalhando com especialistas para aprimorar o apoio do ChatGPT em tempos de crise. Isso inclui “facilitar o alcance de serviços de emergência, ajudando as pessoas a se conectarem com contatos confiáveis ​​e fortalecer as proteções para adolescentes”.

Os detalhes – que, novamente, são altamente perturbadores – se estendem muito além do escopo desta história. O Relatório completo por The New York TimesHill da Caxemira vale a pena ler.