A integridade da inteligência artificial, simplesmente, é a prática de garantir que a inteligência artificial se comporte como pretendido, especialmente em ambientes de alto risco, como a medicina. Foto usada para fins representativos somente Imagem de crédito: Getty EMB
Em 1982, uma tragédia arrepiante em Chicago obteve sete vidas depois que as cápsulas de tilanol (paracetamol) foram misturadas com cianeto – não durante a fabricação, mas depois de chegarem às prateleiras das lojas por um assassino. Até os anos 80 do século passado, os produtos não eram rotineiramente selados e os consumidores não conseguiram saber se os elementos estavam adulterados. O incidente revelou uma vulnerabilidade decisiva de segurança e levou a uma reforma abrangente: a introdução de uma embalagem fechada. O que era opcional era necessário. Hoje, seja comida, medicamentos ou cosméticos, a cobertura selada indica segurança. Este selo simples, nascido da crise, se transforma em um símbolo universal de confiança.
Estamos novamente em uma encruzilhada semelhante. Modelos LLM (LLM) Como ChatGPT, Gêmeos e Claude são sistemas avançados treinados para criar um texto do tipo humano. No campo médico, o LLMS é cada vez mais usado para formular resumos clínicos, explicar diagnósticos em linguagem simples, gerar instruções do paciente e até ajudar nos processos de tomada de decisão. Uma pesquisa recente constatou que mais de 65 % dos profissionais de saúde usaram LLMs e mais da metade deles faz isso semanalmente para assistência administrativa ou insight clínico nos Estados Unidos. Essa integração é rápida e desorganizada com frequência, especialmente em ambientes especiais. O sucesso desses sistemas depende da adequação Inteligência Artificial (AI) Modelos projetados por empresas e a qualidade dos dados de treinamento.
Como funcionam os LLMs
Simplificando, o LLM é um programa de computador avançado que cria um texto que depende dos padrões que aprende. Ele é treinado usando um conjunto de dados de treinamento – grupos de texto de livros, artigos, páginas da web e bancos de dados médicos. Esses textos são divididos em símbolos distintos (palavras ou palavras), que são usados pelo modelo para prever a seguinte palavra provavelmente na frase. Os pesos típicos – números que COD COD esse aprendizado – são modificados e armazenados como parte da estrutura principal da Anistia Internacional. Quando alguém pergunta ao LLM – se o paciente está pedindo os efeitos colaterais dos medicamentos ou um médico que procura ajudar com uma doença rara – o modelo deriva de seu conhecimento treinado e afeta uma resposta. O modelo funciona bem se os dados de treinamento forem precisos e equilibrados.
Sabotador silencioso: envenenamento por dados
Grupos de dados de treinamento são as matérias -primas nas quais o LLMS foi construído. Alguns dos conjuntos de dados de treinamento médico e público estão amplamente incluídos na pilha, o texto da Web central, o texto aberto da web, o C4, a Web repetida e o pijama fino. Eles contêm conteúdo moderado (como revistas, livros acadêmicos) e conteúdo não gradiente (como páginas da web, postagens do github e fóruns on -line).
UM Um estudo recente em Medicina da natureza Foi publicado na Internet em janeiro de 2025 e explorou uma ameaça interessante: envenenamento por dados. Ao contrário da penetração do modelo de inteligência artificial requer experiência, este estudo criou intencionalmente um conjunto de dados de treinamento venenoso usando o API OpenAI GPT-3.5-Turbo. Artigos médicos falsos, mas convincentes, têm informações enganosas como conteúdo de vacinas ou indicadores de medicamentos incorretos a um custo de cerca de US $ 1.000. O estudo analisou o que aconteceu se a coleta de dados de treinamento fosse envenenada com informações erradas. Apenas uma pequena parte, 0,001 % (1 milhão por bilhão) de dados foram enganados. No entanto, os resultados revelaram que ofereceram um aumento incrível de 4,8 a 20 % em respostas minuciosas, dependendo do tamanho e da complexidade do modelo (variando de 1,3 a 4 bilhões de professores) durante as reivindicações.
Os padrões são conjuntos de testes que são alcançados se o modelo de inteligência artificial pode responder corretamente a perguntas. Na medicina, incluem coleções de dados como PubMedQA, MedQA e MMLU, que dependem de exames unificados e demandas clínicas com base em múltiplas avaliações de padrões de seleção. Se for um bom modelo para isso, ele deve ser “seguro” para publicação. É amplamente utilizado para exigir o desempenho do LLMS no nível humano ou acima. mas , natureza O estudo revelou que os modelos envenenados que foram registrados, bem como modelos desprotegidos. Isso significa que os padrões atuais podem não ser sensíveis o suficiente para revelar os danos básicos, o que revela um ponto cego crítico em torno dos padrões.
Por que a liquidação não funciona
O LLMS é treinado em bilhões de documentos e auditores humanos – como os médicos – esperam a tela através de cada um deles irrealista. Candidatos de qualidade mecânica estão disponíveis para se livrar do conteúdo de lixo que contém linguagem abusiva ou conteúdo sexual. Mas esses filtros geralmente sentem falta de informações elegantes e enganosas – o tipo que pode resultar em propaganda qualificada ou anistia internacional. Por exemplo, uma declaração médica incorreta é provavelmente escrita na prosa acadêmica totalmente polida esses filtros.
O estudo também revelou que mesmo boas fontes respeitáveis, como o PubMed, que fazem parte de muitos grupos de treinamento, contendo conhecimento médico antigo ou reduzido. Por exemplo, ainda existem mais de 3000 artigos promovendo para remover o lobo frontal, uma prática muito ignorada. Portanto, mesmo que apenas um modelo seja treinado em dados “confiáveis”, ele ainda pode repetir tratamentos antigos.
Segurança da inteligência artificial
Como os sistemas de inteligência artificial são mais profundos em sistemas de saúde pública, função de seguro, interações dos pacientes e decisões clínicas, o custo de defeito desconfortável pode se tornar desastroso. o O perigo não é apenas teórico. Assim como a pequena disputa de tráfego pode levar a distúrbios coletivos por meio de informações enganosas nas mídias sociais, um erro criado a partir de inteligência artificial pode ser repetido em larga escala, o que afeta milhares de pacientes em várias áreas geográficas. Atores não -governamentais, indivíduos que têm motivos ideológicos ou mesmo acionistas acidentais podem bombear dados enganosos em fontes abertas da Web afetam posteriormente o comportamento da inteligência artificial. Essa ameaça é silenciosa, generalizada e global.
É por isso que a integridade da inteligência artificial não pode ser tratada como uma idéia posterior – deve ser institucional. A integridade da inteligência artificial, simplesmente, é a prática de garantir que a inteligência artificial se comporte como pretendido, especialmente em ambientes de alto risco, como a medicina. Inclui detecção de erros e escrutínio e mitigando -os em treinamento e pós -publicação. Ao contrário do Tradition Software, o LLMS é uma possibilidade e uma nuvem – suas saídas mudam com base em variáveis invisíveis, dificultando o teste. Um dos principais fast food do estudo é que os padrões por si só não são suficientes. Embora os padrões forneçam comparações uniformes através de modelos, eles não capturam a precisão do contexto, preconceito e segurança no mundo real. Só porque o modelo pode levar ao teste não significa que ele pode praticar medicina segura.
Este ponto não é abandonar o desenvolvimento do Medical LLMS, mas o reconhecimento do tratamento das restrições de segurança e seu tratamento. As ferramentas de inteligência artificial não podem apenas ajudar os cuidados de saúde se construíram fundações confiáveis, com vigilância contínua e fortes corrimãos morais. Assim como a crise do tilanol levou a limites de segurança, a divulgação hoje deve levar a medidas sistemáticas de segurança para a Anistia Internacional em Medicina. Adulterando uma garrafa de sete matar, mas com um banco de dados, milhões podem prejudicar milhões.
(Dr.
Publicado – 09 de abril de 2025 13:37
