O avanço do AGI parou. Novas ideias são necessárias
Anúncio do ARC PRIZE
- ARC Prize: competição com mais de US$ 1 milhão em prêmios para impulsionar o AGI aberto
- Objetivo: acelerar o avanço do AGI por meio de novas ideias e resolver a avaliação ARC-AGI
Inteligência vs. memorização
- IA moderna: funciona principalmente memorizando padrões de alta dimensionalidade e aplicando-os a situações semelhantes
- Problema: não consegue gerar novo raciocínio em situações inéditas
- Inteligência geral: capacidade de adquirir novas habilidades com eficiência
- Necessidade: são necessárias novas arquiteturas ou algoritmos
Limites dos LLMs
- Sistemas de IA existentes: podem vencer humanos em jogos específicos, mas não conseguem migrar para outros jogos
- Falha de generalização: a IA não consegue se adaptar a novas situações
ARC-AGI
- Introdução: apresentado no artigo de François Chollet, "On the Measure of Intelligence"
- Objetivo: avaliar sistemas que adquiram novas habilidades com eficiência e resolvam novos problemas
- Estado atual: humanos obtêm de 85% a 100%, enquanto a IA fica em apenas 34%
Avanço do AGI open source
- Problema: após o GPT-4, a pesquisa em AGI se tornou mais fechada
- Histórico: o avanço dos LLMs foi resultado da colaboração de vários pesquisadores
- Necessidade: o open source é necessário para estimular novas ideias
Objetivos do ARC PRIZE
- Mais participação em pesquisa: aumentar o número de pessoas envolvidas na pesquisa de AGI
- Medir o avanço do AGI: popularizar uma forma objetiva de medir o progresso do AGI
- Resolver o ARC-AGI: resolver a avaliação ARC-AGI e aprender algo novo sobre a natureza da inteligência
Como começar
- Como participar: qualquer pessoa pode participar; novas ideias podem surgir de qualquer lugar
- Informações fornecidas: detalhes sobre o formato e a premiação do ARC Prize 2024
Opinião do GN⁺
- Importância do open source: o open source é importante para promover inovação e reduzir a distância entre pequenas e grandes empresas de IA
- Necessidade de novas ideias: a pesquisa atual em IA carece de novas ideias, o que atrapalha o avanço do AGI
- Questão regulatória: crenças equivocadas podem levar ao endurecimento da regulação sobre pesquisa em IA
- Vantagens da competição: competições como o ARC Prize podem motivar pesquisadores e estimular novas ideias
1 comentários
Comentários do Hacker News
Simon Strandgaard participou do ARCathon 2022 e 2023, resolvendo 3 e 8 tarefas, respectivamente. Ele está coletando dados sobre como humanos resolvem tarefas do ARC e, no momento, reuniu 4.100 registros de interação. Também disponibiliza vários conjuntos de dados semelhantes ao ARC.
Há a opinião de que o atual paradigma de aprendizado centrado em dados não generaliza e não é sustentável. Humanos conseguem distinguir gatos de cães sem milhares de exemplos, mas computadores precisam de milhões. Em áreas onde dados são escassos, a transferência de conhecimento pode ser difícil.
Os problemas do ARC exigem muito conhecimento espacial do mundo e têm muitos elementos intuitivos para o processamento visual humano, mais do que raciocínio abstrato. O reconhecimento de padrões visuais desempenha um papel importante.
Há quem diga que o teste ARC também é difícil para humanos. No teste ConceptARC, 25-30% dos humanos não conseguem resolver perguntas simples. Isso pode limitar a utilidade do ARC.
Há um comentário perguntando se existe um leaderboard para uma versão sem restrições da competição. A pessoa gostaria de ver o desempenho do GPT-4.
Há a opinião de que um prêmio de US$ 1 milhão para pesquisa em AGI é baixo demais. O impacto da AGI seria medido em pelo menos trilhões de dólares, e o prêmio atual talvez só sirva para fazer fine-tuning do release público mais recente de um LLM.
Há a opinião de que pode haver várias respostas válidas para um mesmo quebra-cabeça. No exemplo, não é possível saber exatamente qual distância é esperada.
Embora as tarefas do ARC tenham como objetivo o reconhecimento de padrões visuais, isso não pode ser a única definição de inteligência. A inteligência colaborativa humano-IA é importante, e o problema deveria ser reformulado como a otimização de objetivos com múltiplos atributos.
O artigo de François Chollet é muito perspicaz e oferece a melhor resposta sobre a definição de inteligência geral. Definir inteligência pela eficiência de aprendizado ajuda a entender por que a inteligência humana é tão impressionante.
Há a opinião de que o conjunto de problemas ARC é muito mais difícil do que conjuntos de problemas tradicionais de ML, mas não representa AGI. É apenas um novo dataset, e a abordagem continua parecida com as existentes. Uma AGI pode resolver esse problema, mas resolvê-lo não é um indicador garantido de AGI.