Modelos de aprendizado de máquina não detectam a saúde importante, mostra a pesquisa

Isso será muito benéfico para os médicos que estão tentando salvar suas vidas em unidades de terapia intensiva, se puderem ser alertadas quando a condição de um paciente se deteriorar rapidamente ou mostrar vital em limitações altamente incomuns.

Enquanto presente aprendizado de máquina Os modelos estão tentando atingir esse objetivo, publicado em um estudo da Virginia Tech Terapia de comunicação Mostra que eles estão caindo baixos com modelos para prever a mortalidade no hospital, que se refere à previsão da possibilidade de um paciente que morreu no hospital, 66% não identifica lesões.

“As previsões são valiosas apenas se puderem identificar com precisão condições importantes do paciente. Eles precisam ser capazes de identificar os pacientes que se deterioram em condições de saúde e os médicos podem ser alertados imediatamente” Danfeng “Defane” Defane “Yao, professor e professor no Centro de inteligência artificial e analítica de dados.

“Nosso estudo encontrou sérias deficiências na responsabilidade dos atuais modelos de aprendizado de máquina”, disse Yao. “A maioria dos modelos que avaliamos não pode identificar eventos de saúde importantes e esse é um grande problema”.

Para conduzir sua pesquisa, Yao e Ciência da Computação Ph.D. O aluno Tanmoy Sarkar Pias colaborou com vários pesquisadores.

Seu artigo, “A baixa responsabilidade do modelo de aprendizado de máquina não é suficiente para ensinar modelos para determinar riscos futuros à saúde”, para condições de saúde importantes ou deterioradas. A calibração do modelo de saúde com “pacientes com teste” ajuda a revelar a capacidade e as limitações reais do modelo.

A equipe desenvolveu várias abordagens de exames médicos, incluindo um método de escalada de escudo e mapa de ativação nervosa. As mudanças de cor no mapa de ativação do nervo indicam quão bem os modelos de aprendizado de máquina reagem à condição do paciente. O método de escalada de escudo pode gerar automaticamente casos de teste especiais, facilitando a avaliação da qualidade de um modelo.

“Avaliamos sistematicamente a capacidade do modelo de aprendizado de máquina de responder a condições médicas graves usando novos casos de teste, alguns dos quais são séries, o que significa que eles usam a sequência de comentários coletados em intervalos regulares para prever valores futuros”, disse Pias.

“Dirigido por Médicos médicosNossa avaliação incluiu muitos modelos de aprendizado de máquina, técnicas de adaptação e quatro conjuntos de dados para duas tarefas de previsão clínica. , Assim,

Além de modelos que não identificam 66% das lesões para prever a mortalidade hospitalar, os modelos não conseguiram gerar pontuações adequadas de risco de mortalidade para todos os casos de teste. O estudo identificou deficiências semelhantes na prestação de contas de modelos de gravidez de cinco anos e câncer de pulmão.

Essas descobertas informam a pesquisa futura em assistência médica usando o aprendizado de máquina e o aprendizado de máquina inteligência artificial (Ai), disse Yao, porque eles mostram que os modelos estatísticos de aprendizado de máquina são totalmente treinados Dados do paciente Eles são grosseiramente insuficientes e têm muitos pontos cegos perigosos.

para diversificar Dados de treinamentoPode -se aproveitar de uma amostras sintéticas estrategicamente desenvolvidas, Em 2022, uma equipe de Yao descobriu uma abordagem para aumentar a imparcialidade para pacientes minoritários.

“Para incluir um design mais fundamental Conhecimento médico Em profundidade no modelo clínico de aprendizado de máquina “, disse ela.” Esta é uma tarefa altamente interdisciplinar, exigindo uma grande equipe com computação e conhecimento médico. , Assim,

Enquanto isso, o grupo de Yao está testando ativamente outros modelos médicos, incluindo grandes modelos de idiomas, em funções clínicas sensíveis ao tempo para sua segurança e eficácia, como a detecção de sepse.

“Os testes de segurança da IA ​​são uma corrida contra o tempo, pois as empresas estão colocando produtos no espaço médico”, disse ela. “O teste transparente e objetivo é uma necessidade. O teste de IA ajuda a proteger a vida das pessoas e esse é o meu grupo cometido”.