OpenAI sugere flexível a segurança de sua IA se os rivais aproveitarem os sistemas de risco
Openai disse que vai considerar Ajuste seus requisitos de segurança se uma empresa concorre com um modelo de inteligência artificial de alto risco sem proteções. A empresa escreveu em seu relatório ‘Preparação Framework’ que se outra empresa lançar um modelo que é uma ameaçapoderia fazer o mesmo depois de confirmar “rigorosamente” que o “Risk Panorama” mudou.
O documento explica como a empresa rastreiaavalia, fornece e protege contra riscos catastróficos que Eles elevam os modelos de IA. “Se outro desenvolvedor de fronteira lançar um sistema de alto risco sem salvaguardas comparáveis, poderíamos ajustar nossos requisitos”, escreveu o Openai em uma postagem de blog publicada na terça -feira.
“No entanto, Primeiro, confirmaríamos rigorosamente que o risco panorama Isso realmente mudou, reconheceríamos publicamente que estamos ajustando, avaliaríamos que O ajuste não aumenta significativamente o risco geral de danos graves e ainda mantenha as salvaguardas em um nível mais protetor. “
Antes de tornar um modelo público, OpenAI avalia Se puder causar danos graves, identificando riscos plausíveis, mensuráveis, novos, graves e irremédicos e estabelecendo salvaguardas contra eles. Em seguida, classifique esses riscos como baixo, mídia, alto ou crítico.
Alguns dos riscos que a empresa já traça são as capacidades de seus modelos nas áreas de biologia, química, segurança cibernética e superação. A empresa diz que também está avaliando novos riscos, como se seu modelo de IA pudesse funcionar Por um longo tempo sem intervenção Human, auto -replicação e que ameaça poderia significar nos campos nucleares e radiológicos.
Os “riscos de persuasão”, Como o uso do chatgpt para campanhas políticas ou grupos de pressão, eles serão tratados fora do quadro e, em vez disso, serão estudados através do Modelo SpecO documento que determina o comportamento do chatgpt.
Redução silenciosa de compromissos de segurança
Steven Adler, ex -pesquisador do Openai, disse em x que Atualizações do relatório A preparação da empresa mostra que está “reduzindo silenciosamente seus compromissos de segurança”. Em sua mensagem, ele apontou um compromisso de dezembro de 2023 da empresa de testar “versões refinadas” de seus modelos de IA, Mas ele apontou que o OpenAi agora mudará Apenas tente modelos cujos parâmetros treinados ou “pesos” serão publicados.
“As pessoas podem discordar totalmente Sobre se é necessário experimentar modelos refinados e melhor para o OpenAI eliminar um compromisso de mantê -lo e simplesmente não cumpri -lo “, disse ele”. Mas de qualquer forma, eu gostaria Openai estava mais claro em ter revertido neste compromisso anterior. “
A notícia vem depois que o OpenAI lançou esta semana uma nova família de modelos de IA, chamada GPT-4.1, aparentemente sem cartão do sistema Nenhum relatório de segurança. ‘Euronews a seguir’ perguntou o OpenAi Pelo relatório de segurançamas não recebeu uma resposta no momento da publicação.
A notícia vem depois de 12 ex -funcionários OpenAi apresentará um escrito No caso apresentado por Elon Musk contra o Openai, no qual se alega que a mudança para uma empresa de lucro pode levar a cortes de segurança.
