ARC Prize, competição de US$ 1 milhão+ por uma AGI aberta
(arcprize.org)- O ARC Prize é uma competição de mais de cerca de US$ 1 milhão ($1m) voltada a participantes que superarem a avaliação ARC-AGI e publicarem a solução como open source
- A questão central é que os LLMs modernos se parecem mais com motores de memorização que aplicam padrões de alta dimensão dos dados de treino ao contexto adjacente, sem conseguir criar novo raciocínio em situações inéditas
- A pontuação SOTA do ARC-AGI foi de 20% em 2019 e hoje segue em 34%, mostrando que tarefas aprendidas rapidamente por humanos e crianças continuam difíceis para a IA moderna
- Há uma crítica subjacente de que, como os relatórios técnicos do GPT-4 e do Gemini não divulgam detalhes centrais, a pesquisa de AGI de fronteira está se tornando mais fechada, enquanto o investimento centrado em LLMs reduziu o interesse por novas arquiteturas e algoritmos
- O ARC Prize é uma tentativa de permitir que mais pesquisadores meçam publicamente o progresso rumo à AGI e aprendam de novo como funciona a inteligência geral ao resolver o ARC-AGI
Condições propostas pelo ARC Prize
- O ARC Prize é uma competição de mais de US$ 1 milhão voltada ao avanço de uma AGI aberta
- A condição central é superar a avaliação ARC-AGI e divulgar a solução como open source
- Os organizadores são Mike Knoop e François Chollet, com Infinite Monkey e Lab42
A fronteira entre memorização e inteligência geral
- A IA moderna, especialmente os LLMs, é forte em memorizar padrões de alta dimensão nos dados de treino e aplicá-los a contextos próximos
- Até a aparente capacidade de raciocínio seria um modo de memorizar padrões de raciocínio e aplicá-los em contextos semelhantes, sem gerar novo raciocínio em situações inéditas
- Em benchmarks baseados em memorização como MMLU, GSM8K, ImageNet e GLUE, é possível “comprar” desempenho com mais dados de treino
- Inteligência geral é a capacidade de adquirir novas habilidades com eficiência, e só memorização dificilmente leva à inteligência geral
- A visão é que escalar apenas o tamanho dos LLMs não basta para aprender novas habilidades, sendo necessárias novas arquiteturas ou algoritmos capazes de aprender no momento do teste
O limite de generalização revelado pela IA de jogos
- Sistemas de IA que vencem humanos em pôquer, xadrez e go já existem há muito tempo
- Mas sistemas treinados para ter sucesso em um jogo não podiam ser simplesmente retreinados para outro; os pesquisadores precisavam redesenhar e reconstruir um novo sistema para cada jogo
- Essa situação é interpretada como uma falha de generalização
- Sem essa capacidade, a IA continua limitada pela inteligência geral dos humanos que estão no loop
O que o ARC-AGI tenta medir
- ARC-AGI é uma avaliação apresentada no artigo de François Chollet On the Measure of Intelligence
- Essa avaliação busca medir a inteligência geral de sistemas capazes de adquirir novas habilidades com eficiência e resolver problemas novos e abertos
- Em 2019, a melhor pontuação SOTA do ARC-AGI era 20%; hoje é 34%
- Humanos e crianças conseguem aprender as tarefas rapidamente, mas o ARC-AGI ainda é muito difícil para a IA moderna
- Muitos benchmarks de IA testam capacidade de memorização, por isso saturam rapidamente em desempenho de nível humano
- O ARC-AGI foi projetado para resistir à memorização e continua sendo uma avaliação difícil tanto para os maiores modelos baseados em Transformer quanto para sistemas de IA especializados no ARC-AGI
- Acredita-se que uma solução para o ARC-AGI possa abrir um novo paradigma de programação em que programas generalizem de forma perfeita e estável a partir de um conjunto arbitrário de conhecimentos prévios
A pesquisa de IA de fronteira cada vez mais fechada
- Após o lançamento do GPT-4, o progresso em AGI de fronteira teria migrado para um fluxo de código fechado
- O GPT-4 technical report não trouxe detalhes técnicos, e a OpenAI citou “concorrência” como o primeiro motivo
- O Gemini technical report do Google também não trouxe detalhes técnicos sobre inovações de fronteira ligadas à janela de contexto longa
- Os LLMs absorveram grande parte do interesse de pesquisa em novas arquiteturas e novos algoritmos
- Em 2023, mais de US$ 20 bilhões foram investidos em empresas de IA não geral, e muitos pesquisadores de fronteira da DeepMind foram realocados para o Gemini para competir com a OpenAI
O papel da pesquisa aberta na história do Transformer
- A arquitetura Transformer surgiu a partir do acúmulo de várias pesquisas dentro da linha de pesquisa em tradução automática
- Em 2014, Sutskever e outros publicaram na Google o Seq2Seq Learning, usando RNN e CNN
- Em 2016, Bahdanau e outros popularizaram o conceito de atenção, permitindo prever saídas considerando diferentes partes da entrada
- Em 2017, Vaswani e outros, em Attention Is All You Need, removeram RNN e CNN e otimizaram a arquitetura, possibilitando uma nova expansão de escala
- Em 2018, Radford e outros criaram o GPT-2 em escala de fronteira sobre a arquitetura Transformer e mostraram capacidades emergentes
- Esse percurso mostra o processo da ciência, em que pesquisadores de diferentes laboratórios e equipes publicam resultados e outros pesquisadores constroem em cima deles
Objetivos e caminhos para participar
- O ARC Prize tem três objetivos
- Aumentar o número de pessoas participando da pesquisa de AGI de fronteira
- Popularizar um critério objetivo para medir o progresso da AGI
- Resolver o ARC-AGI e aprender novamente sobre a natureza da inteligência
- O formato da competição e os detalhes dos prêmios podem ser vistos em ARC Prize 2024
- Como começar a resolver o ARC-AGI está no guide
- A forma como o ARC-AGI mede inteligência geral pode ser consultada na página ARC-AGI
- O progresso e as soluções SOTA são atualizados em X/Twitter, YouTube, Email e Discord
1 comentários
Opiniões do Hacker News
Eu sou Simon Strandgaard e resolvi 3 tarefas no ARCathon 2022 e 8 no ARCathon 2023
Estou coletando dados sobre como as pessoas resolvem tarefas do ARC e, até agora, reuni 4.100 registros de interação (https://github.com/neoneye/ARC-Interactive-History-Dataset)
Além do ARC-AGI, há datasets parecidos com o ARC, que podem ser testados no meu editor (https://neoneye.github.io/arc/)
Ao reproduzir os registros de interação, dá para ver que cada pessoa tem uma abordagem diferente. A reprodução está em 100 ms por interação; pessoas reais não resolvem tão rápido assim
https://www.youtube.com/watch?v=vQt7UZsYooQ
Quando resolvo manualmente tarefas do ARC, fica assim, e também dá para ver que é bem lento
https://www.youtube.com/watch?v=PRdFLRpC6dk
O estranho é que a forma de implementar um solucionador para uma tarefa específica do ARC é bem diferente de resolver o quebra-cabeça à mão. É preciso lidar com todo tipo de caso excepcional
Muito obrigado à equipe do ARC Prize
Isso é realmente incrível. Concordo com a intuição do François de que o atual paradigma de treinamento que consome muitos dados não generaliza bem e tampouco é sustentável
Humanos não precisam de 10 mil exemplos para distinguir gatos de cães, e o principal motivo pelo qual computadores conseguem fazer isso hoje é que existem milhões de exemplos
Por isso, pode ser difícil transferir conhecimento para domínios mais obscuros, nos quais os dados são caros, raros e difíceis de sintetizar
Se eu fosse fazer uma crítica, a maioria desses testes parece raciocinar sobre informação completa do ponto de vista da teoria dos jogos. Mas muitos dos problemas mais difíceis que enfrentamos envolvem informação oculta
Pôquer e negociações são exemplos de solução de problemas em situações de informação imperfeita, e navegar com naturalidade por situações sociais também exige lidar com problemas relacionados a informação oculta
Uma das coisas realmente interessantes que humanos conseguem fazer é receber as regras de um jogo e criar uma estratégia. Existem algoritmos que aprendem sozinhos Go ou xadrez, mas o mesmo algoritmo de autojogo não funciona para jogos com informação oculta
Um sistema de inteligência geral também deveria ter a capacidade de sintetizar um solucionador de problemas genérico para essas situações
Talvez não chegue a 10 mil, mas me parece que foram centenas, talvez milhares
Crianças pedem confirmação para saber se seus palpites estão certos. Mesmo lendo pela 50ª vez um livro, elas apontam para um cachorro na ilustração e perguntam “cachorro?”, e essa fase do desenvolvimento dura bastante
Elas também ficam irritadas quando o rótulo esperado não bate com o objeto. Por exemplo, meu filho fica realmente bravo quando alguém chama uma cor pelo nome errado
Bebês também adoram brincar de dar nomes errados de propósito. Se você aponta para um peixe e diz “que lhama bonita!”, a criança acha tão engraçado que cai na gargalhada
O desenvolvimento do cérebro humano é muito lento[1], e uma noção linear de tempo também demora bastante para existir. Mesmo aos três anos, tudo é ontem, hoje ou amanhã
Crianças coletam informações por vários sentidos, passam 12 a 14 horas por dia coletando dados em um ritmo absurdo e depois descansam 10 a 12 horas processando essas informações
[1] Basta ver um bebê descobrir que tem o pé direito e, alguns dias depois, perceber que também tem o esquerdo. Também dá para ver uma criança aprendendo a ficar de pé bater a cabeça algumas vezes embaixo da mesa antes de criar uma noção de “acima de mim”. Quando dizemos que crianças aprendem “rápido”, isso está mais para o fato de que, durante anos, elas não têm outra coisa para fazer
Dito de outra forma, LLMs são pré-treinados quase do zero, com conhecimento prévio muito fraco, enquanto o cérebro humano já vem carregado com conhecimento prévio extremamente forte
Por exemplo, só com a descrição “cães caçam rastreando animais e os perseguindo por muito tempo até cansá-los, enquanto gatos esperam oportunidades e atacam com furtividade e agilidade”, uma pessoa que nunca viu cães nem gatos provavelmente conseguiria olhar para os dois animais e acertar qual é qual com base em suas formas de adaptação
Poderia ser um teste interessante para IA, mas não sei bem como estruturar isso como avaliação
A ideia do ARC é realmente muito boa, mas os problemas parecem exigir muito mais conhecimento do mundo espacial do que raciocínio abstrato
São coisas como formas se sobrepondo, contendo umas às outras, cortando pedaços e remontando-os, e removendo ruído de formas geométricas regulares
Dá para chamar isso de “conhecimento essencial”, mas para mim parece mais próximo de “coisas intuitivas para o processamento visual humano”
Uma pessoa inteligente, mas com deficiência visual, conseguiria resolver esses problemas?
A preocupação de que talvez precisemos de mais de 800 exemplos não é porque o raciocínio abstrato seja difícil demais, mas porque os problemas exigem conhecimento espacial, que humanos inteligentes aprendem com muito mais do que 800 exemplos de treinamento
Se este teste representa um domínio em que humanos são muito melhores do que IA, ele é um teste útil. Como a IA é claramente menos competente que humanos em vários domínios e ainda assim passa bem pelos testes existentes, precisamos de mais testes desse tipo
Pré-treinamento com dados ilimitados deveria ser permitido. Generalizar a partir de dados facilmente disponíveis para as tarefas do teste é exatamente o que humanos fazem
Tenho certeza de que pessoas com deficiência visual também conseguiriam resolver se as cores fossem traduzidas para sensações táteis. Pessoas com deficiência visual também entendem relações espaciais
Se definirmos AGI como, no mínimo, nível humano, uma AGI também deveria conseguir resolver esse nível sem ver mais exemplos
Não parece haver regras sobre que conhecimento ou experiência podem ser embutidos na solução
Gosto do objetivo do projeto. Seria bom examinar motores de inferência anteriores que tentaram construir senso comum. Cyc e OpenMind são exemplos
A lista de objetivos de AGI na seção 2 deste artigo também pode ajudar
https://arxiv.org/pdf/2308.04445
Ao estudar uma introdução às funções do cérebro, também vi que muitas áreas estão conectadas ao hipocampo. O hipocampo talvez consiga tanto armazenar conceitos de forma neutra em relação aos sentidos quanto criar modelos internos, ou modelos aproximados, do mundo externo
O primeiro ajuda a agrupar conceitos por meio de vários sentidos, e o segundo ajuda no planejamento ao imaginar, avaliar e iterar possibilidades
Uma AGI provavelmente precisa dessas características semelhantes às do hipocampo e das características presentes no artigo do Cyc. Dá para testar que tipo de estrutura poderia, em teoria ou em pequena escala, fazer esse tipo de coisa
Ela também não deve ficar presa a apenas um tipo de entrada sensorial. É preciso haver pelo menos dois tipos, e ela deve conseguir agir com base no que existe só de um lado ou em ambos
Crianças também fazem uma enorme quantidade de aprendizado não supervisionado com dados visuais e espaciais. Elas recebem aprendizado por reforço por meio de brincadeiras e também aprendizado supervisionado dos pais. Um benchmark realista talvez precise, de modo semelhante, de pré-treinamento na casa dos GB
Por exemplo, pense em formas que contêm umas às outras. Se dois países reivindicam o mesmo território, é como se houvesse um conjunto X que contém Y e um conjunto Z que contém Y
Se a sobreposição comum for tridimensional e uma estiver sobre a outra, podemos estender dizendo que X contém -Y e Z contém Y. Assim como, dependendo de onde você está, só dá para ver a que está por cima e não as duas, podemos dizer que X e Z não podem existir ao mesmo tempo. Portanto, se X, então -Y; se Z, então Y
Quando observamos com cuidado a linguagem que usamos, percebemos o quanto usamos relações espaciais até para descrever coisas totalmente abstratas. Por exemplo, podemos falar de uma economia hegemônica em colapso, uma expressão que evoca coisas empilhadas umas sobre as outras desaparecendo e voltando para o lugar de onde vieram
No fim, estamos raciocinando sobre coisas que acontecem no tempo e no espaço
E espaço não é o mesmo que visão. Mesmo com deficiência visual, é preciso raciocinar espacialmente. Qualquer conjunto de fatos é um conjunto de fatos no espaço-tempo
Para entender história, é preciso entender pessoas no espaço, pessoas vivendo a diferentes distâncias, e a produção de bens por processos físicos em vários pontos da Terra, além de sua troca física
Para entender uma batalha, é preciso compreender como os exércitos estão fisicamente posicionados, como funcionam os movimentos de suprimentos, as condições climáticas e o que as armas e suas formas físicas realmente possibilitam
Até mesmo o que faz o LLM, que foi o maior avanço em inteligência artificial? Ele codifica tokens em um espaço multidimensional
Relações espaciais são apenas mais um tipo de relação lógica, e uma AGI deveria ser capaz de analisar relações e gerar na hora um algoritmo para resolver o problema
O fato de humanos poderem ter vários vieses não significa que esses vieses sejam inerentes a toda inteligência
A afirmação de que esse teste é fácil para humanos me parece suspeita, então pesquisei um pouco. Melanie Mitchell entrou na thread de Chollet e publicou um teste relacionado, o ConceptARC
Lá, ela questiona se o teste de Chollet é realmente fácil. “Uma limitação do ARC como ferramenta útil para pesquisa em IA é que ele pode ser difícil demais. Muitas tarefas no corpus de Chollet também são difíceis para humanos, e o corpus inteiro pode ser difícil demais para máquinas, a ponto de não revelar progresso real na aquisição de conhecimento essencial”
O ConceptARC foi projetado para ser mais fácil, mas precisou filtrar cerca de 15% dos próprios participantes porque “não conseguiram resolver pelo menos duas tarefas, ou deram explicações vazias ou sem sentido”
Mesmo depois dessa filtragem, o ConceptARC ainda constatou uma taxa adicional de falha humana de cerca de 10–15% nos problemas principais, ou seja, mesmo em problemas mais simples criados para testar “AGI”, 25–30% não conseguiram resolvê-los
Nos principais resultados do ConceptARC, o CG4 ficou muito abaixo dos humanos filtrados, o que também bate com o resultado do teste de IQ=85 da [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10...
Chollet e Mitchell também poderiam estratificar o grupo humano para estimar o QI, comparar com a medição da Mensa e ver, por exemplo, como Claude3@IQ=100 corresponderia à pontuação ARC de um humano médio
[ConceptArc]https://arxiv.org/pdf/2305.07141
“Humanos foram capazes de inferir o programa subjacente e gerar a saída de teste correta para novos exemplos de entrada de teste, resolvendo em média 84% das tarefas por participante”
Ou eu sou muito mais burro do que pensava, ou eles precisam validar melhor o teste
Tomando isso ao pé da letra, se nenhum dos modelos existentes consegue sequer metade da pontuação de um humano médio, então esse teste claramente está medindo alguma diferença importante
Pode haver discordância sobre se os problemas do ARC são uma amostra representativa de todos os programas abstratos componíveis, mas a maioria dos LLMs também acaba sendo treinada em dados humanos
Concordo com a proposta da competição, mas considerando que dezenas de bilhões de dólares já foram investidos na corrida por AGI, e que muito mais dinheiro ainda será colocado nisso, o prêmio de 1 milhão de dólares parece um pouco baixo
O impacto da AGI será medido no mínimo em trilhões. No fim, o que isso pode acabar recompensando não é pesquisa em AGI, mas ajustar finamente o último LLM aberto para se encaixar melhor nos parâmetros do teste
Também seria bom mudar a plataforma usada para se comunicar com o público. Links do x.com agora não são acessíveis sem criar uma conta
O principal objetivo desse prêmio é aumentar a percepção pública sobre o quão perto estamos da AGI, ou o quão longe ainda estamos: https://arcprize.org/leaderboard
Espero que essa compreensão leve mais pesquisadores de IA em potencial a trabalhar em novas ideias
Eu gosto muito do ARC como conjunto de problemas a resolver. O fato de os dados serem escassos e as regras aplicáveis serem praticamente infinitas o torna muito mais difícil do que conjuntos de problemas tradicionais de aprendizado de máquina
Mas não concordo que esse problema represente AGI. É apenas um dataset diferente dos casos de sucesso tradicionais de aprendizado de máquina, e as abordagens são em geral parecidas com as anteriores
Um avanço realmente novo, como AGI, poderia resolver esse conjunto de problemas, mas não vejo resolver esse conjunto como um indicador garantido de AGI
É realmente interessante e eu gostei, mas, pela minha intuição depois de ver cerca de uma dúzia de exemplos, embora esses problemas sejam difíceis, eles são fáceis o bastante para que, se ficarem populares, resultados próximos ao nível humano apareçam em um ano ou menos, e ainda assim isso não chegue a AGI
O ponto central parece ser encontrar uma linguagem de técnicas de transformação suficientemente geral, com operadores adequados. E, nessa linguagem, é preciso uma heurística para encontrar, em sentido informacional, um programa muito curto que gere todos os exemplos de um problema
Eu ficaria muito surpreso se em breve não elevarem bastante o resultado de 34%, e também ficaria surpreso se isso se transferisse para inteligência geral. Especialmente considerando os temas em que uso IA hoje e os pontos em que ela ainda fica devendo
Basicamente, minha intuição é que isso se tornará mais um problema como xadrez ou Go na IA. Ainda assim, é certamente valioso como tema de pesquisa, e o valor que pode sair daqui provavelmente supera bastante 1 milhão de dólares
Não acho que se sair bem nessa tarefa seja qualquer prova de uma AGI de verdade. Por exemplo, é diferente de escrever novas provas matemáticas, fazer perguntas perspicazes que ninguém pensou, conduzir o próprio autoaprendizado e ler o próprio código-fonte
A expressão “a única avaliação que mede AGI” é exagerada. Isto é apenas um problema que LLMs não conseguem resolver, não significa que seja uma boa métrica de inteligência artificial geral
Depois de resolver alguns problemas, fiquei curioso sobre quantas regras de transformação diferentes existem no gerador de problemas. Não parecem ser muitas
Então o problema se divide em extrair dos dados um conjunto de regras de transformação e depois aplicá-lo a novos problemas
A primeira parte é difícil e é um problema de extração de características. Como as transformações parecem ser aplicadas de forma rigorosa, uma vez obtidas as regras de transformação e escolhidas as que se ajustam a todos os exemplos de entrada, a aplicação em si deveria ser simples
Parece ser necessária uma extração de características explícita, em vez da combinação de extração e uso de características que os LLMs empregam. Será que alguém já tentou extrair um conjunto de regras a partir dos casos de teste?
Algumas das melhores soluções da competição original no Kaggle usavam uma linguagem específica de domínio composta por esse tipo de transformação. Isso foi há 4 anos. [1]
O problema desse caminho é que as tarefas não usam um gerador de programas. O conjunto de regras pode ser qualquer coisa que uma pessoa consiga imaginar. Pode ser simples, como “o maior objeto fica azul”, mas também pode ser muito mais complexo
Além disso, o conjunto de teste é privado, então não dá para treiná-lo nem extraí-lo. Ele também contém regras que não estão no conjunto público
[1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
O artigo original de François Chollet é incrivelmente perspicaz, e sempre me surpreende que mais gente não fale sobre ele
Algumas partes são bem técnicas, mas, em alto nível, é a melhor resposta que já vi para “o que significa inteligência geral?”
Ao definir inteligência como eficiência de aprendizado, depois de levar em conta o conhecimento prévio explícito e implícito sobre o mundo, fica muito mais fácil entender por que a inteligência humana é tão impressionante
Dwarkesh acabou de publicar uma entrevista com François Chollet. Ele é parceiro do autor do post original
Ainda ouvi só alguns minutos, mas tenho bastante interesse em ouvir mais sobre as ideias dele a respeito das limitações dos LLMs
https://youtu.be/UakqL6Pj9xo