O Big Chatgpt Erro do Openai oferece uma grande lição

Ok, prepare -se. Estou ficando profundamente aqui.

Openai bagunçado uma atualização de chatgpt no final do mês passado e, na sexta -feira, publicou um minha culpa. Vale a pena ler sua explicação honesta e clara de como os modelos de IA são desenvolvidos – e como as coisas às vezes podem dar errado de maneiras não intencionais.

Aqui está a maior lição de tudo isso: Os modelos de IA não são o mundo real e nunca serão. Não confie neles durante momentos importantes em que você precisa de apoio e conselhos. É para isso que servem amigos e familiares. Se você não os possui, entre em contato com um colega ou especialistas humanos confiáveis, como um médico ou terapeuta.

E se você não leu “Howards End” por Em ForsterCavar neste fim de semana. “Só se conecte!” é o tema central, que inclui se conectar com outros humanos. Foi escrito no início do século XX, mas é Ainda mais relevante em nossa era digital, Onde nossas conexões pessoais são frequentemente intermediárias por empresas de tecnologia gigantes e agora modelos de IA como o ChatGPT.

Se você não quiser seguir o conselho de um cara morto, ouça Dario Amodei, CEO da AntrópicoUma startup que é o maior rival de Openai: “O significado vem principalmente de relacionamentos e conexões humanas”, escreveu ele em um recente ensaio.

Erro de Openai

Aqui está o que aconteceu recentemente. O OpenAI lançou uma atualização para o ChatGPT que incorporou feedback do usuário de uma nova maneira. Quando as pessoas usam esse chatbot, elas podem classificar as saídas clicando em um botão polegar-se ou polegar para baixo.

A startup coletou todo esse feedback e o usou como um novo “sinal de recompensa” para incentivar o modelo de IA a melhorar e ser mais envolvente e “agradável” com os usuários.

Em vez disso, o chatgpt se tornou Waaaaaay Muito agradável e começou a elogiar excessivamente os usuários, não importa o que eles pedissem ou dissessem. Em suma, tornou -se sicófântico.

“O feedback humano que eles introduziram com os polegares para cima/para baixo era muito grosseiro de um sinal”. Sharon ZhouO CEO humano da startup Lamini AI, me disse. “Ao confiar apenas nos polegares para cima/para baixo, para o sinal de volta sobre o que o modelo está se saindo bem ou mal, o modelo se torna mais bajuloso”.

OpeniAi descartou toda a atualização essa semana.

Ser muito bom pode ser perigoso

O que há de errado em ser muito legal com todos? Bem, quando as pessoas pedem conselhos em momentos vulneráveis, é importante tentar ser honesto. Aqui está um exemplo que citei no início desta semana que mostra o quão ruim isso pode ficar:

Para ficar claro, se você está pensando em parar de tomar remédios prescritos, verifique com seu médico humano. Não confie no chatgpt.

Um momento de divisor de águas

Este episódio, combinado com um Suporte impressionante no uso de chatgpt Recentemente, parece ter trazido o Openai para uma nova realização.

“Uma das maiores lições é reconhecer totalmente como as pessoas começaram a usar o ChatGPT para conselhos profundamente pessoais”, escreveu a startup em seu Mea Culpa na sexta -feira. “Com tantas pessoas, dependendo de um único sistema de orientação, temos a responsabilidade de ajustar de acordo”.

Estou lançando esta lição para o benefício de todos os humanos que lêem esta coluna: Por favor, não use o ChatGPT para conselhos profundamente pessoais. E não depende de um único sistema de computador para orientação.

Em vez disso, vá se conectar com um amigo neste fim de semana. É isso que vou fazer.