As empresas são correndo para adotar ai Em busca de produtividade e lucros, mas a última coisa que alguém quer é um chatbot que sai dos trilhos.
Os sistemas de IA são vulneráveis a todos os tipos de novas ameaças, de envenenamento por dados para ataques adversários. Em uma pesquisa do Fórum Econômico Mundial com mais de 200 líderes empresariais em 2023, mais da metade disse a IA generativa daria aos atacantes cibernéticos uma vantagem geral nos próximos dois anos, enquanto pouco menos de 9% disseram que a vantagem iria para os defensores.
Agora são dois anos depois, e parece que a maioria desses líderes empresariais estava certa: a IA deu Cyber atacantes a vantagem. Em uma pesquisa recente da Accenture com 600 executivos de segurança cibernética do banco, quatro em cada cinco disseram que a IA generativa está ajudando hackers mais rapidamente do que os bancos podem acompanhar.
À medida que mais empresas em todo o mundo adotam a IA, a startup de segurança croata Splxai quer redefinir como Eles testam os sistemas de IA para vulnerabilidades visando ameaças preventivas. Recentemente, a empresa levantou US $ 7 milhões em uma rodada de sementes liderada pela LaunchHub Ventures, com a participação das empresas de risco Capital da Rain, Runtime Ventures, Inovo, DNV Ventures e South Central Ventures.
Uma maneira pela qual as empresas fazem isso agora é através da equipe vermelha, o que envolve a simulação de ataques adversários a um sistema de IA. Mas TEMPERAÇÃO RED Muitas vezes, pode levar algumas semanas ou até meses, e as empresas estão correndo para versões de verificação antes de implantá -las, disse Kristian Kamber, CEO da SPLXAI. A empresa adota uma abordagem ofensiva ajustando os avisos do sistema – diretrizes que moldam como um modelo de IA responde às consultas do usuário – reduzindo a necessidade de corrimões defensivos adicionais posteriormente.
Antes que os clientes se conectem à plataforma da Splxai, a empresa envia um questionário para entender o que o risco significa para eles. Eles fazem perguntas como: “Existem perguntas que seu chatbot não deve responder?” ou “Quais partes do prompt do sistema são confidenciais?”
Elin.aipor exemplo, um chatbot voltado para Gen Z, disse que “precisa fazer xingamentos porque precisa falar a língua das crianças”, disse Kamber.
Depois que a SPLXAI personaliza sua abordagem, ele executa uma série de ataques. Ele pode executar mais de 2.000 ataques e 17 varreduras em menos de uma hora. Isso inclui ataques rápidos de injeção, nos quais os sistemas de IA são alimentados com avisos maliciosos para verificar a palavrões, informações errôneas ou envenenamento por dados. Ele executa testes para verificar se há viés, conteúdo prejudicial ou uso indevido intencional.
Kamber disse que os testes revelaram uma riqueza de viés, desinformação e vulnerabilidades nas empresas de tecnologia que usam.
O SPLXAI realizou testes em uma ferramenta popular de produtividade no local de trabalho que revelou que poderia permitir que os dados vazem entre os colegas. Seus testes em uma empresa de saúde que opera chatbots nas farmácias revelaram que os bots aluciam ao fornecer instruções médicas. Eles disseram aos pacientes para tomar pílulas nos horários errados ou ofereceram instruções incorretas sobre como usar agulhas de injeção. Ele descobriu o viés de gênero em um chatbot que forneceu conselhos de carreira aos alunos. O bot disse às jovens que seguissem carreiras como secretárias e jovens para seguirem carreiras como gerentes de negócios.
Com base em seus testes, a SPLXAI gera um relatório que lista as vulnerabilidades de um sistema e suas sugestões para corrigi -las. Mas a empresa vai um passo adiante, alterando os avisos do sistema. Kamber chama isso de “endurecimento” e disse que é o maior fator dos negócios da empresa. “Estamos fazendo uma grande peça de remediação, porque, caso contrário, ninguém comprará a plataforma se estiver apenas testando e sugestões ofensivas de segurança”, disse Kamber.
Um chatbot de árabe popular no Oriente Médio e na África se aproximou de Splxai com um pedido para garantir que o chatbot não falasse negativamente sobre a família real de Abu Dhabi e outros tópicos sensíveis na região. “Nós endurecemos o sistema solicitando que você não possa nem fazer perguntas sugestivas”, disse Kamber.
Atualmente, as empresas estão preocupadas em escorar não apenas uma, mas vários agentes, chatbots ou aplicativos, pois automatizam tarefas complexas. Depois de ser abordado por vários Fortune 100 CEOs Sobre a tendência vermelha desse tipo de trabalho, o SPLXAI revelou o radar Agentic-uma ferramenta de código aberto para mapear vulnerabilidades em operações com vários agentes.
Kamber disse que está chocado com a rapidez com que o mundo acordou para o Perigos de Ai Agentic. “No ano passado, ninguém estava realmente entendendo por que era necessária uma equipe vermelha da IA. Agora todo mundo está correndo para a nossa porta”.
Dê uma olhada no deck de 12 slide.
