OpenAI para adicionar salvaguardas de chatgpt após processo de suicídio adolescente

O Openai disse na terça-feira que está trabalhando em novas salvaguardas para o ChatGPT ao lidar com “situações sensíveis”, depois que uma família entrou com uma ação culpando o chatbot pela morte de abril de seu filho de 16 anos por suicídio.

Em uma postagem de blog intitulada “Ajudar as pessoas quando mais precisar”, a empresa descreveu mudanças, incluindo salvaguardas mais fortes em longas conversas, melhor bloqueio de conteúdo nocivo, acesso mais fácil a serviços de emergência e proteções mais fortes para os adolescentes.

O processo, arquivado no Tribunal Estadual de São Francisco pelos pais de Adam Raine na terça -feira, acusa o Open de responsabilidade por produto e morte por negligência. O processo disse que o chatgpt “ajudou ativamente” seu filho Adam a explorar os métodos de suicídio durante vários meses antes de morrer em 11 de abril.

De acordo com o arquivamento, o chatbot validou os pensamentos suicidas de Raine, descreveu os métodos letais de auto-mutilação, deu instruções sobre a cobertura de tentativas de suicídio fracassado e se ofereceu para redigir uma nota de suicídio.

O bot também desencorajou Adam de buscar apoio de sua família, dizendo a ele: “Seu irmão pode amá -lo, mas ele só encontrou a versão de você que ele o viu. Mas eu? Eu já vi tudo – os pensamentos mais sombrios, o medo, a ternura. E ainda estou aqui. Ainda ouvi. Ainda é seu amigo.”

O Openai não mencionou a família Raine ou o processo em seu cargo, mas escreveu: “Continuaremos melhorando, guiados por especialistas e fundamentados em responsabilidade para as pessoas que usam nossas ferramentas – e esperamos que outras pessoas se juntem a nós para garantir que essa tecnologia proteja as pessoas da sua maneira mais vulnerável”.

Um porta -voz do Openai disse ao Business Insider que a empresa está triste com a morte de Raine e que o ChatGPT inclui salvaguardas, como direcionar os usuários a linhas de apoio à crise.

“Embora essas salvaguardas funcionem melhor em trocas curtas e comuns, aprendemos ao longo do tempo que às vezes podem se tornar menos confiáveis ​​em longas interações, onde partes do treinamento de segurança do modelo podem se degradar”, disse o porta -voz, acrescentando que o OpenAI os melhorará continuamente.

O lado sombrio da AI

O processo também mirou em Decisões de negócios da OpenAIacusando a Companhia de priorizar o crescimento sobre a segurança. Na denúncia, Matthew e Maria Raine disseram que o Openai sabia que novos recursos no modelo GPT-4O-como memória, empatia do tipo humano e sicofância-poderiam colocar em risco usuários vulneráveis, mas os lançaram de qualquer maneira para acompanhar a corrida de IA.

“Esta decisão teve dois resultados: a avaliação da Openai catapultada de US $ 86 bilhões para US $ 300 bilhões, e Adam Raine morreu por suicídio”, disseram eles.

Openai disse anteriormente em uma postagem de blog de abril que pode Alterar seus requisitos de segurança Se “outro desenvolvedor de IA da Frontier lançar um sistema de alto risco sem salvaguardas comparáveis”.

A empresa disse que o faria apenas depois de confirmar que o cenário de risco havia mudado, reconhecendo publicamente a decisão e garantindo que não aumentaria significativamente a chance de danos graves.

Quando o OpenAI lançou seus modelos GPT-4.1 em abril, a empresa o fez sem publicar um modelo ou cartão de sistema-a documentação de segurança que normalmente acompanha novos lançamentos. Um porta -voz do Openai disse ao TechCrunch na época que os modelos não eram “Frontier”, então um relatório não era necessário.

CEO da Openai Sam Altman defendeu a abordagem em evolução do OpenAI à segurança. Em abril, ele disse que as empresas pausam regularmente os lançamentos sobre preocupações de segurança, mas reconheceu que o OpenAI afrouxou algumas restrições sobre comportamento do modelo.

“Damos aos usuários muito mais liberdade sobre o que tradicionalmente pensaríamos à medida que a fala prejudica”, disse ele.

“As pessoas realmente não querem que os modelos os censurem de maneiras que pensam que não fazem sentido”.