Busca em IA: uma lição ainda mais amarga

Os limites do Leela Chess Zero

• O Leela Chess Zero se tornou campeão mundial após passar por dezenas de bilhões de rodadas de treinamento por autojogo
• Mas foi completamente derrotado pelo Stockfish
• Mesmo treinando uma rede maior, não conseguiu vencer o Stockfish
• O Stockfish usava um modelo muito menor que o Leela, mas venceu graças a uma capacidade de busca superior

Mais reflexões sobre a vitória do Stockfish

• O Leela perdeu o posto de campeão mundial por não ser bom em busca
• A adição de capacidade de busca aos LLMs está próxima, mas não está recebendo atenção
• Modelos fundacionais como o GPT-4 não têm capacidade de busca
• Predomina a suposição de que seriam necessários modelos maiores para viabilizar a busca, mas existem contraexemplos
• Segundo pesquisas da DeepMind, o comportamento de busca emerge naturalmente em algoritmos de xadrez
• Como já existem algoritmos de busca eficientes, não há necessidade de esperar que uma busca preliminar ineficiente surja por acaso em modelos grandes
• Os modelos atuais já são grandes o suficiente para possibilitar a busca, e talvez sejam até maiores do que o necessário

A busca permite alocar recursos computacionais ao domínio-alvo

• Suponha que uma empresa farmacêutica queira usar IA para pesquisar novos medicamentos
• Em um mundo com busca em IA, há duas opções
  1. esperar até 2030 para que a OpenAI lance um modelo 4 ordens de magnitude maior, ou
  2. usar hoje mesmo 4 ordens de magnitude a mais de computação de inferência
• A empresa farmacêutica provavelmente preferirá a segunda opção
• Por meio da busca, seria possível aproveitar agora capacidades de nível ASI de 2030

Cenário de avanço da IA baseada em busca

• Descobre-se que a busca funciona nos modelos atuais
• Governos ou grandes laboratórios percebem que podem aplicar imediatamente a busca à pesquisa em IA ou à coleta de informações no exterior
• Como a computação de inferência é limitada, seu uso fica restrito a governos ou grandes laboratórios, em segurança ou pesquisa em IA
• O avanço da IA guiado por busca leva à descoberta de algoritmos de exploração mais eficientes e de arquiteturas de modelo melhores
• A busca não exige mais dados de treinamento, resolvendo o problema da “barreira de dados”
• A explosão de inteligência começa no ano que vem, e não em 2030

Possibilidade de aplicar busca à própria pesquisa em IA

• Se a IA avançar o suficiente para conseguir pesquisar a si mesma, espera-se uma dinâmica de avanço acelerado
• Assim como uma empresa farmacêutica pode pesquisar novos medicamentos sem esperar pelo GPT-8, laboratórios de IA também poderão pesquisar IA sem esperar por modelos maiores
• Para substituir pesquisadores humanos de IA, talvez sejam necessárias mais remoções de limitações
• Ainda assim, espera-se que até um chatbot simples com inteligência de nível GPT-8 seja suficiente para acelerar o avanço da IA

[GN⁺]

Opiniões do Hacker News

Resumo dos comentários do Hacker News

• A eficácia da busca está intimamente relacionada à qualidade da função de valor: as funções de valor atuais são muito especializadas em domínios específicos, e há poucas evidências de que seja possível criar uma função de valor que generalize para novos domínios.
• Pesquisa de Yann LeCun: Yann LeCun está estudando o papel da busca para criar AGI e tenta construir um modelo de mundo robusto por meio do JEPA.
• Limitações dos modelos de linguagem: há dúvidas se os LLMs atuais conseguem simular um modelo de mundo suficientemente rico, e o motivo de o vídeo ser importante é que humanos conseguem extrair modelos de mundo úteis a partir de sequências de imagens.
• Ambiguidade do artigo: a postagem começa com uma premissa interessante, mas não define busca no contexto dos LLMs nem explica a afirmação de que "a Pfizer poderia usar os recursos do GPT-8 hoje".
• Busca em engines de xadrez: a busca em engines de xadrez é possível porque existe uma função objetiva, e fica a dúvida se há uma métrica desse tipo para LLMs.
• Necessidade de busca: a busca quase certamente será necessária, e é importante encontrar formas de clusters de baixo custo vencerem clusters de alto custo.
• Diferença entre xadrez e outros jogos: o xadrez tem menos fatores de poda, o que permite uma abordagem mais ampla, mas situações do mundo real têm muito mais fatores de poda.
• Generalização da busca: busca é uma generalização de "gerar e testar" e de rejection sampling, e a velocidade depende da geração de candidatos e do tempo de teste.
• Problema do site: um determinado site atrapalha funções padrão do navegador, causando incômodo.
• Árvore de jogo da Leela Chess Zero: a Leela modela o xadrez como uma árvore de jogo e usa algoritmos de busca.
• Possibilidade de busca em LLMs: não está claro qual é o espaço de possibilidades em que os LLMs poderiam buscar.
• Limitações dos LLMs: como os LLMs não conseguem fazer ou avaliar um cheesecake, é preciso moderar as expectativas sobre AGI.
• Problema de teoria da informação: o fato de o treinamento de LLM exigir dados demais aponta para problemas de generalização e de falta de modelagem interna do mundo.