Durante anos, a indústria da IA permanece por um conjunto de princípios conhecidos como “leis de escala”. Os pesquisadores do OpenAI os delinearam no artigo seminal de 2020, “escalando leis para modelos de idiomas neurais”.
“O desempenho do modelo depende mais fortemente da escala, que consiste em três fatores: o número de parâmetros do modelo n (excluindo incorporação), o tamanho do conjunto de dados d e a quantidade de computação C usada para o treinamento”, escreveram os autores.
Em essência, mais é mais quando se trata de construir IA altamente inteligente. Essa ideia alimentou enorme investimentos em data centers que permitem aos modelos de IA processar e aprender com enormes quantidades de informações existentes.
Mas, recentemente, especialistas da IA em todo o Vale do Silício começaram a desafiar essa doutrina.
“Problemas mais interessantes escalam extremamente mal”, o principal cientista da Meta da IA, Yann Lecundisse na Universidade Nacional de Cingapura no domingo. “Você não pode apenas assumir que mais dados e mais computação significam IA mais inteligente”.
O ponto de Lecun depende da idéia de que o treinamento da IA em vastas quantidades de assunto básico, como dados da Internet, não levará a algum tipo de superinteligência. A IA inteligente é uma raça diferente.
“O erro é que sistemas muito simples, quando trabalham para problemas simples, as pessoas os extrapolam para pensar que trabalharão para problemas complexos”, disse ele. “Eles fazem coisas incríveis, mas isso cria uma religião de escala que você só precisa para dimensionar mais os sistemas e naturalmente se tornarão mais inteligentes”.
No momento, o impacto da escala é ampliado porque muitos dos últimos avanços da IA são realmente “muito fáceis”, disse Lecun. O maior grandes modelos de linguagem Hoje são treinados aproximadamente a quantidade de informações no córtex visual de uma criança de quatro anos, disse ele.
“Quando você lida com problemas do mundo real com ambiguidade e incerteza, não se trata mais apenas de escalar”, acrescentou.
Os avanços da IA têm diminuído a velocidade ultimamente. Isso se deve, em parte, a um corpus cada vez menor de dados públicos utilizáveis.
Lecun não é o único pesquisador proeminente a questionar o poder da escala. Escalas você tem CEO Alexandr Wang A escala é “a maior questão da indústria” na Conferência Cerebral do Vale no ano passado. O CEO da Cohere Aidan Gomez chamou de maneira “mais idiota” de melhorar os modelos de IA.
Lecun defende uma abordagem de treinamento mais mundial.
“Precisamos de sistemas de IA que possam aprender novas tarefas muito rapidamente. Eles precisam entender o mundo físico – não apenas texto e linguagem, mas o mundo real – têm algum nível de senso comum e habilidades para raciocinar e planejar, têm memória persistente – todas as coisas que esperamos de entidades inteligentes”, disse ele durante sua palestra no domingo.
No ano passado, em um episódio de Podcast de Lex FridmanLecun disse que, em contraste com os grandes modelos de linguagem, que só podem prever seus próximos passos com base em padrões, os modelos mundiais têm um nível mais alto de cognição. “O componente extra de um modelo mundial é algo que pode prever como o mundo vai evoluir como conseqüência de uma ação que você pode tomar”.
