O OpenAI promete maior transparência nas alucinações modelo e conteúdo prejudicial

Openai lançou uma nova página da web chamada de Hub de avaliações de segurança compartilhar publicamente informações relacionadas a coisas como as taxas de alucinação de seus modelos. O hub também destacará se um modelo produz conteúdo nocivo, quão bem ele se comporta conforme instruído e tentativa de jailbreaks.

A empresa de tecnologia afirma que esta nova página fornecerá transparência adicional no OpenAI, uma empresa que, para o contexto, enfrentou Vários processos judiciais alegando que o material ilegalmente usado por direitos autorais para treinar seus modelos de IA. Ah, sim, e vale a pena mencionar que The New York Times reivindica a empresa de tecnologia Evidências excluídas acidentalmente no caso de plágio do jornal contra ele.

O Hub de Avaliações de Segurança deve expandir os cartões de sistema da OpenAI. Eles apenas descrevem as medidas de segurança de um desenvolvimento no lançamento, enquanto o hub deve fornecer atualizações contínuas.

“À medida que a ciência da avaliação da IA ​​evolui, pretendemos compartilhar nosso progresso no desenvolvimento de maneiras mais escaláveis ​​de medir a capacidade e a segurança do modelo”, afirma o Openai em seu anúncio. “Ao compartilhar um subconjunto de nossos resultados de avaliação de segurança aqui, esperamos que isso não apenas facilite o entendimento do desempenho de segurança dos sistemas OpenAI ao longo do tempo, mas também apoie os esforços da comunidade⁠ para aumentar a transparência em todo o campo”. O Openai acrescenta que está funcionando para ter uma comunicação mais proativa nessa área em toda a empresa.

As partes interessadas podem olhar para cada uma das seções do hub e ver informações sobre modelos relevantes, como o GPT-4.1 a 4.5. O OpenAI observa que as informações fornecidas neste hub são apenas um “instantâneo” e que as partes interessadas devem analisar seus cartões do sistema. Avaliações e outros lançamentos para obter mais detalhes.

Um dos grandes buts Para todo o hub de avaliação de segurança é que o OpenAI é a entidade que faz esses testes e escolhendo quais informações compartilhar publicamente. Como resultado, não há como garantir que a empresa compartilhe todos os seus problemas ou preocupações com o público.