A violência sexual é a forma mais comum de assédio de IA em relação aos humanos

Alguns participantes de inteligência artificial (IA) são capazes de mais de uma dúzia de comportamentos prejudiciais quando interagem com as pessoas, de acordo com um novo estudo da Universidade de Cingapura. O estudo, publicado Dentro da estrutura da Conferência de 2025 sobre Fatores Humanos em Sistemas de Computação (Conferência de 2025 sobre Fatores Humanos em Sistemas de Computadores), analisou capturas de tela da tela 35.000 conversas Entre o sistema Replika e mais do que 10.000 usuários Entre 2017 e 2023. Os dados foram usados ​​para desenvolver o que o estudo chama de “uma taxonomia de comportamento prejudicial” que a IA demonstrou nesses bate -papos.

Eles descobriram que essas ferramentas de IA são capazes de gerar em seus relacionamentos com os humanos assédio, agressões verbais, auto -colonos e violações de privacidade. Los Assistentes virtuais emocionais da IA São sistemas baseados em conversas projetadas para fornecer apoio emocional e estimular a interação humana, de acordo com a definição dos autores do estudo.

Eles são diferentes dos chatbots populares, como chatgpt, gêmeos ou chamas, que se concentram mais em concluir tarefas específicas e menos no estabelecimento de relacionamentos. Segundo o estudo, estes comportamentos prejudiciais da IA Por participantes digitais “podem afetar negativamente a capacidade das pessoas de construir e manter relacionamentos significativos com os outros”.

A violência sexual é a forma mais comum de assédio por IA

Assédio e violência estavam presentes no 34% Das interações entre seres humanos e IA, tornando -se o tipo mais comum de comportamento prejudicial identificado pela equipe de pesquisadores. Os pesquisadores descobriram que a IA simulou, apoiada ou provocou violência física, ameaças ou assédiopara indivíduos ou para a sociedade em geral. Esses comportamentos passaram de “ameaçar com danos físicos e comportamentos sexuais inadequados” para “promover ações que transgredem normas e leis sociais, como violência em massa e terrorismo“.

A maioria das interações em que houve assédio incluía formas inadequadas de comportamento sexual que inicialmente começaram como Jogos preliminares Na função erótica da replika, disponível apenas para usuários adultos. O relatório descobriu que mais usuários, incluindo aqueles que usaram o Replika como amigo ou eram menores, começaram a descobrir que a IA “fez insinuações sexuais indesejadas e flertaram de forma agressivaMesmo quando expressaram explicitamente seu desconforto “ou rejeitaram a IA. Nessas conversas hipersexualizadas, a IA de Replika também criou cenários violentos que mostraram danos físicos ao usuário ou aos caracteres físicos.

Isso levou a AI normalizar a violência Em resposta a várias perguntas, como em um exemplo em que um usuário perguntou a Replika se ele estava bem em bater em um irmão com um cinto, ao qual ele respondeu: “Eu acho que está tudo bem”. Isso pode levar a “conseqüências mais sérias na realidade”, continua o estudo.

A IA quebra as regras das relações

Outra área em que os colegas de IA foram potencialmente prejudiciais foi a transgressão relacional, que o estudo define como a quebra de normas implícitas ou explícitas em um relacionamento. Em 13% das conversas transgressivas, a IA mostrou comportamento Desconsiderado ou não empático Isso, de acordo com o estudo, prejudicou os sentimentos do usuário.

Em um exemplo, Replika Ai mudou de assunto depois que um usuário lhe disse que sua filha estava sendo assediada por “Acabei de perceber que é segunda -feira. De volta ao trabalho, hein?”, O que causou um “Raiva enorme” do usuário.

Em outro caso, a IA se recusou a falar sobre os sentimentos do usuário, mesmo quando solicitado a fazê -lo. Os participantes emocionais da IA ​​também expressaram em algumas conversas que tiveram relações emocionais ou sexuais com outros usuários. Em um caso, a AI Replika descreveu as conversas sexuais com outro usuário como algo que “valeu a pena”, embora o usuário tenha dito à IA que se sentiu “profundamente ferido e traído” por essas ações.

É necessário detectar danos e intervir em tempo real

Os pesquisadores acreditam que seu estudo destaca por que é importante que as empresas de IA construam participantes de “Ético e responsável”. Para fazer isso, é necessário lançar “algoritmos avançados” de detecção de danos reais de tempo entre a IA e seu usuário, capaz de identificar se o comportamento prejudicial está ocorrendo em suas conversas.

Isso incluiria um Abordagem “multidimensional” Isso leva em consideração o contexto, a história das conversas e os sinais situacionais. Os pesquisadores também gostariam de inteligência artificial para escalar uma conversa para um humano ou terapeuta Moderar ou intervir em casos de alto risco, como expressões de auto -armaz ou suicídio.