François Chollet, criador do Keras, fala sobre o estado atual da IA generativa

Os LLMs ainda têm um longo caminho pela frente

• Um LLM nada mais é do que algo que memorizou uma grande quantidade de informação e depois a recupera para usar, então não dá para dizer que ele tenha uma inteligência real em nível humano. Inteligência real em nível humano significa conseguir generalizar a partir de um volume muito limitado de dados de aprendizado e resolver problemas mesmo em situações inéditas.
• Para distinguir cães de gatos, uma pessoa precisa ver apenas algumas poucas fotos, mas um modelo CNN precisa de 25.000 imagens. O cérebro humano consegue classificar objetos com rapidez e precisão usando uma quantidade de dados de aprendizado incomparavelmente menor que a da inteligência artificial.
• Mesmo ao resolver o mesmo problema de matemática, se alguém não entende o princípio e apenas recorda a fórmula adequada com base na experiência de ter resolvido problemas parecidos, isso é só uma boa busca, e dificilmente pode ser considerado inteligência de verdade. É preciso distinguir entre quem tira nota 100 decorando e quem tira nota 100 por entender o princípio.
• É justamente por isso que os LLMs atuais melhoram de desempenho à medida que crescem de escala e, ao mesmo tempo, continuam alucinando. Ao aumentar o volume de aprendizado, cresce o número de fórmulas que podem ser recuperadas, então eles conseguem lidar com mais situações; quando não encontram ou encontram errado a fórmula a ser usada, surge a alucinação.
• Mas resolver problemas decorando fórmulas, na verdade, também é algo comum entre pessoas. Tirando um número muito pequeno de exceções, a maioria vive aplicando fórmulas memorizadas a cada situação; ainda assim, existe uma diferença entre inteligência artificial e seres humanos.
• A inteligência artificial atual faz uma busca superficial, enquanto o ser humano consegue buscar em profundidade por meio de um encadeamento contínuo de pensamentos.
• O conceito que chamamos de "inteligência" pode ser dividido novamente nos três níveis a seguir.

1. Capacidade de observar um fenômeno, compreender o princípio e aplicá-lo em uma ampla variedade de contextos (gênio)
2. Capacidade de examinar em profundidade vários padrões já aprendidos e utilizar o padrão ideal (pessoa comum)
3. Capacidade de examinar superficialmente vários padrões já aprendidos e usar o que aparece mais rápido (LLMs atuais)

• A posição atual dos LLMs é a do item 3; o ideal seria chegar ao item 1 e, no mínimo, ao item 2 para alcançarmos o que chamamos de AGI (Artificial General Intelligence).

ARC Prize, com prêmio de 1 milhão de dólares

• Foi desenvolvido um método de teste para avaliar se algo possui inteligência real em nível humano, e com isso foi criada a competição ARC Prize, que oferece um prêmio de 1 milhão de dólares. (https://www.kaggle.com/competitions/arc-prize-2024)
• No site oficial da competição (https://arcprize.org/) é possível tentar resolver os quebra-cabeças; embora para humanos a dificuldade seja comparável à de um teste de QI, a inteligência artificial ainda não consegue resolver bem esses problemas.

Compartilhar resultados acelera o progresso

• A OpenAI espalhou pela indústria uma cultura de não compartilhar informações, o que atrasou o surgimento da AGI em pelo menos 5 a 10 anos.
• Para criar AGI, são necessárias muitas tentativas, mas como a OpenAI atraiu toda a atenção, os recursos humanos e materiais do setor acabam se concentrando apenas em quem desenvolve LLMs.
• Como consequência inevitável, outras áreas de pesquisa recebem menos apoio e seus resultados avançam mais lentamente.
• Além disso, ao contrário do que acontecia antes, mesmo quando a OpenAI publica artigos, ela não compartilha os detalhes técnicos, o que dificulta que outros pesquisadores do setor deem continuidade a novas pesquisas com base nesses trabalhos.
• Antes do surgimento da OpenAI, artigos como Attention is all you need levaram pesquisadores de várias instituições a colaborar independentemente de filiação, impulsionando o rápido avanço da inteligência artificial; já a OpenAI vem espalhando uma cultura de não compartilhar suas descobertas com o setor, prejudicando o progresso da área.
• Há expectativa de que, por meio da competição ARC Prize, os pesquisadores voltem a compartilhar resultados de forma ativa, acelerando novamente o avanço da indústria.

[readiz]

Parece que o modelo o1 está chegando perto do número 2.

[seanlee10]

Sim, eu também penso assim.