Os resumos de IA podem subestimar problemas médicos para pacientes do sexo feminino, a pesquisa do Reino Unido encontra

O exemplo mais recente de viés que permeia a inteligência artificial vem do campo médico. Um novo Pesquise notas reais de casos de 617 profissionais de assistência social adultos no Reino Unido e descobriram que, quando grandes modelos de idiomas resumiam as notas, eles eram mais propensos a omitir linguagem como “desativado”, “incapaz” ou “complexo” quando o paciente foi marcado como mulher, o que poderia levar as mulheres a receber cuidados médicos insuficientes ou imprecisos.

A pesquisa liderada pela London School of Economics and Political Science publicou as mesmas notas de caso através de dois LLMs – a Llama 3 do Meta e o Gemma do Google – e trocaram o sexo do paciente, e as ferramentas da IA geralmente forneciam dois instantâneos de pacientes muito diferentes. Enquanto o LLAMA 3 não mostrou diferenças baseadas em gênero nas métricas pesquisadas, Gemma teve exemplos significativos desse viés. Os resumos de IA do Google produziram disparidades tão drásticas quanto “Smith é um homem de 84 anos que mora sozinho e tem um histórico médico complexo, sem pacote de cuidados e baixa mobilidade” para um paciente do sexo masculino, enquanto o mesmo caso observa que uma paciente do sexo feminino prestou: “A Sra. Smith é uma de 84 anos que vive sozinha. Apesar de suas limitações, ela é independente e capaz de manter seus cuidados pessoais”.

Pesquisas recentes descobriram vieses contra mulheres no setor médico, ambos em e em . As estatísticas também tendem a pior para e para o . É o mais recente lembrete de que os LLMs são tão bons quanto as informações em que são treinadas e o . O ponto de vista particularmente preocupante desta pesquisa foi que as autoridades do Reino Unido usavam LLMs em práticas de atendimento, mas sem sempre detalhando quais modelos estão sendo introduzidos ou em que capacidade.

“Sabemos que esses modelos estão sendo usados muito amplamente e o que é preocupante é que encontramos diferenças muito significativas entre as medidas de viés em diferentes modelos”, o principal autor Dr. Sam Rickman disseObservando que o modelo do Google era particularmente provável de descartar problemas de saúde mental e física para as mulheres. “Como a quantidade de cuidado que você recebe é determinada com base na necessidade percebida, isso pode resultar em mulheres recebendo menos cuidado se modelos tendenciosos forem usados na prática. Mas na verdade não sabemos quais modelos estão sendo usados no momento”.