Openai acabou de ganhar ouro na competição de matemática de maior prestígio do mundo

Openai’s O mais recente modelo experimental é um giro de matemática, com um desempenho tão bom em um exame de matemática incrivelmente difícil que todos estão falando agora.

“Estou animado para compartilhar que nosso mais recente @openai experimental raciocínio LLM alcançou um grande desafio de longa data em Ai: Desempenho no nível da medalha de ouro na competição de matemática de maior prestígio do mundo-a Olimpíada de Matemática Internacional (IMO) “, disse Alexander Wei, membro da equipe técnica da Openai, sobre X.

O Olimpíada de Matemática Internacional é uma competição global que começou em 1959 na Romênia e agora é considerada uma das mais difíceis do mundo. É dividido em dois dias, durante os quais os participantes recebem um exame de quatro horas e meia, cada um com três perguntas. Alguns vencedores famosos incluem Grigori Perelman, que ajudou a avançar a geometria, e Terence Tao, destinatário da Medalha Fields, a maior honra em matemática.

Em junho, o TAO previu no podcast de Lex Fridman que a IA não marcou no topo da IMO. Ele sugeriu que os pesquisadores disparassem um pouco mais baixos. “Existem competições menores. Há competições em que a resposta é um número e não uma prova de forma longa”, disse ele.

No entanto, o mais recente modelo do OpenAI resolveu cinco em cada seis dos problemas corretamente, trabalhando sob as mesmas condições de teste que os humanos, disse Wei.

O colega de Wei, Noam Brown, disse que o modelo exibiu um novo nível de resistência durante o exame.

“Os problemas da IMO exigem um novo nível de pensamento criativo sustentado em comparação com os benchmarks anteriores”, disse ele. “Este modelo pensa para um longo tempo.”

Wei disse que o modelo é uma atualização na inteligência geral. O desempenho do modelo está “abrindo novos caminhos no aprendizado de reforço de propósito geral”, disse ele. A alfageometria de DeepMind, por outro lado, é projetada especificamente apenas para fazer matemática.

“Este é um LLM fazendo matemática e não um sistema de matemática formal específico; faz parte do nosso principal impulso em direção à inteligência geral”, disse Altman no X.

“Quando começamos o Openai, este foi um sonho, mas não foi muito realista para nós; é um marcador significativo de quão longe a IA chegou na última década”, escreveu Altman, referindo -se ao desempenho da modelo na OIM.

Altman acrescentou que um modelo com um “nível de capacidade de ouro” não estará disponível ao público por “muitos meses”.

A conquista é um exemplo de quão rápido a tecnologia está se desenvolvendo. No ano passado, “a IA Labs estava usando matemática escolar” para avaliar modelos, disse Brown. E o bilionário de tecnologia Peter Thiel disse no ano passado que levaria pelo menos mais três anos para que a IA pudesse resolver EUA Olimpíada de matemática problemas.

Ainda assim, sempre existem céticos.

Gary MarcusUm conhecido crítico do hype da IA, chamado de desempenho do modelo de “genuinamente impressionante” em X. Mas ele também colocou várias perguntas sobre como o modelo foi treinado, o escopo de sua “inteligência geral”, a utilidade da população em geral e o custo por problema. Marcus também disse que a IMO não verificou independentemente esses resultados.