FunSearch: novas descobertas em matemática e ciência com LLMs

FunSearch: uso de grandes modelos de linguagem para novas descobertas em matemática e ciência

• Grandes modelos de linguagem (LLMs) têm excelente capacidade de combinar conceitos e são ferramentas úteis para ajudar na resolução de problemas por meio de leitura, escrita e programação.
• Como os LLMs às vezes tendem a "alucinar" informações que não são factuais, fazer descobertas precisas e verificáveis é um desafio.
• O FunSearch é um método para explorar novas soluções em matemática e ciência da computação combinando um LLM pré-treinado, que oferece soluções criativas, com um "avaliador" automático, que filtra ideias incorretas.

Impulsionando descobertas por meio da evolução com modelos de linguagem

• O FunSearch usa um método evolutivo que desenvolve as ideias com maior pontuação, e essas ideias são representadas como programas de computador que podem ser executados e avaliados automaticamente.
• O usuário escreve o problema em forma de código, composto por um procedimento para avaliar o programa e um programa-semente para inicializar o conjunto inicial de programas.
• O FunSearch funciona em um processo iterativo em que, a cada iteração, alguns programas do conjunto atual são selecionados e fornecidos ao LLM, que gera novos programas para avaliação.

Abrindo novos caminhos na matemática

• O FunSearch descobriu uma nova solução para o problema dos cap sets, que há décadas desafia matemáticos.
• O problema dos cap sets consiste em encontrar o maior conjunto de pontos em uma grade de alta dimensão no qual não haja três pontos alinhados, sendo um modelo importante na combinatória extremal.
• O FunSearch encontrou, em algumas configurações, os maiores cap sets descobertos nos últimos 20 anos.

FunSearch prefere programas concisos e interpretáveis por humanos

• O FunSearch não apenas gera soluções para o problema, mas também produz programas que explicam como essas soluções foram obtidas.
• O FunSearch prefere encontrar soluções por meio de programas com baixa complexidade de Kolmogorov, ou seja, programas muito concisos.
• A saída dos programas do FunSearch é fácil de entender para pesquisadores e oferece insights acionáveis.

Enfrentando desafios notoriamente difíceis na computação

• Após ter sucesso no problema teórico dos cap sets, o FunSearch foi aplicado ao problema de "bin packing", um importante desafio prático da ciência da computação.
• O FunSearch conseguiu empacotar a mesma quantidade de itens usando menos recipientes do que heurísticas existentes.

Abrindo caminho para a ciência e além com descobertas guiadas por LLMs

• Se for possível evitar as alucinações dos LLMs, será possível aproveitar o poder desses modelos não apenas para fazer novas descobertas matemáticas, mas também para revelar soluções impactantes para problemas reais importantes.
• Espera-se que o uso de abordagens guiadas por LLMs para gerar algoritmos eficazes e personalizados se torne uma prática comum em muitos problemas científicos e industriais.

Opinião do GN⁺

• O FunSearch mostra novas possibilidades da inteligência artificial na resolução de problemas matemáticos. Em especial, ao apresentar novas soluções para problemas não resolvidos há muito tempo, como o problema dos cap sets, o papel da IA na matemática tende a se tornar ainda mais importante.
• Ao ser aplicada a problemas industriais reais, como a melhoria da eficiência de data centers, essa tecnologia mostra que a IA também pode contribuir para a solução de problemas práticos.
• Os programas gerados pelo FunSearch são interpretáveis por humanos, o que deve ajudar pesquisadores a obter insights mais profundos e a resolver problemas em colaboração com a IA.

[GN⁺]

Comentários do Hacker News

• Pergunta sobre a necessidade de um LLM:

  • O objetivo do LLM parece ser gerar uma função Python que corresponda à assinatura de tipo fornecida.
  • Mesmo sem um LLM, deveria ser possível gerar funções Python aleatórias e corretas que correspondam à assinatura de tipo dada.
  • Sugere-se que uma linguagem restrita pode ser mais eficiente, citando linguagens como PushGP como exemplo.
  • Levanta-se a questão de se o LLM realmente agrega valor, se é competitivo em comparação com outras técnicas de programação genética e se há diferença no custo computacional em relação a abordagens tradicionais.

• Contexto importante sobre a descoberta em combinatória:

  • Foi revelado que um certo número combinatório está dentro de um intervalo mais estreito do que o anteriormente conhecido.
  • Essa descoberta não foi feita por meio de uma prova matemática centrada em lógica, mas por um método de encontrar sequências numéricas com propriedades especiais.
  • O método que usa algoritmos genéticos e LLM pode ser interessante e útil.

• Comentário relacionado a "self-play":

  • O FunSearch usa um método evolutivo com LLM para desenvolver as ideias com maior pontuação.
  • O usuário descreve o problema na forma de código e cria um pool de programas que será usado para avaliar e inicializar o processo.
  • Em cada iteração, o FunSearch seleciona alguns programas do pool atual, e o LLM gera novos programas com base neles, que são avaliados automaticamente. Os melhores programas são adicionados de volta ao pool existente, criando um loop de autoaperfeiçoamento.

• Experiência pessoal de uso com busca na web:

  • Usa pplx.ai e phind.com para fazer perguntas e encontrar links na web.
  • Refina as perguntas ou faz perguntas de acompanhamento para encontrar referências diferentes ou mais profundas.
  • O conteúdo do Tech Twitter também é útil, e há expectativa de usar o Grok em pesquisa.

• Post no Twitter sobre a descoberta da DeepMind:

  • Se redes neurais realmente puderem gerar conhecimento novo, isso será a descoberta mais importante desde a descoberta do fogo.
  • Levanta-se a dúvida de que, se essa descoberta for verdadeira, todos estariam falando sobre isso.
  • Expressa impressão com o que foi feito no Palm 2 e expectativa quanto às possibilidades futuras quando outros modelos passarem a usar esse método.

• Resumo de post no Twitter:

  • As capacidades de IA continuam aumentando, e a produtividade pessoal melhora de 20% a 30% com autocomplete de IA, refatoração e geração de diff para code review.
  • Ao conectar modelos de IA a partes do fluxo de negócios, "melhorar" o sistema pode ser algo tão simples quanto trocar o modelo.
  • Há expectativa de que tudo melhore magicamente por alguns anos após a integração inicial.

• Resumo sobre geração de programas:

  • Dado um template/esqueleto de programa e uma função de fitness, usa-se um LLM para gerar uma população de programas.
  • Usa-se um prompt para gerar novos programas, e eles são executados com entradas para receber pontuações pela função de fitness.
  • Usa-se um modelo de ilhas para a evolução, e o número de chamadas ao LLM é baixo, cerca de 1e6.
  • Há uma reflexão sobre o trade-off entre profundidade e largura na avaliação/pontuação de programas.

• Abordagem para o problema do cap set:

  • O problema do cap set consiste em encontrar o maior conjunto de pontos em uma grade de alta dimensão em que não existam três pontos colineares.
  • O FunSearch gera soluções na forma de programas que descobrem o maior cap set para esse problema.
  • Isso representa o maior aumento no tamanho do cap set nos últimos 20 anos.

• Expressa curiosidade sobre a possibilidade de integrar LLMs com raciocínio simbólico.

• Independentemente de isso gerar novo conhecimento ou não, há interesse nisso como estudo de caso ao considerar restrições de acesso à IA com base no tamanho do modelo ou outras medidas regulatórias.

• Em relação ao teorema da aproximação universal, menciona-se que funções podem ser aproximadas com precisão por redes neurais artificiais usando ReLU.

  • Esta abordagem é semelhante, mas no fim fornece código.