Ajustando um elefante com quatro parâmetros não nulos

 (arxiv.org)
1 pontos por GN⁺ 2024-07-15 | 1 comentários | Compartilhar no WhatsApp
  • O problema de “ajustar um elefante com quatro parâmetros” surgiu de uma anedota de 1953, em que Enrico Fermi, citando Johnny von Neumann, criticou um modelo de Freeman Dyson
  • A citação passou a ser usada como crítica à ideia de que, à medida que o número de parâmetros aumenta, um modelo pode parecer se ajustar bem aos dados, mas isso não garante seu significado físico
  • Tentativas anteriores não satisfizeram completamente as condições: Wei usou mais de 20 parâmetros, e Mayer et al. pareciam usar quatro números complexos, mas na prática isso correspondia a 8 parâmetros
  • A abordagem de um parâmetro de Paintadosi consegue desenhar qualquer forma, mas codifica a forma em um número real com precisão extremamente longa, o que não combina com o espírito do problema
  • O artigo aponta a limitação de que o problema em si não estava suficientemente definido e tenta ajustar a curva de um elefante usando apenas quatro parâmetros não nulos sob as condições dadas

O problema que começou com a crítica de Fermi

  • Em 1953, Enrico Fermi criticou o modelo de Dyson citando Johnny von Neumann
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • A frase é usada para dizer que, mesmo que um modelo seja complexo e se ajuste bem aos dados, se isso for apenas resultado do aumento do número de parâmetros, é difícil garantir que ele tenha significado físico real
  • A pergunta central é se é realmente possível ajustar um elefante usando apenas quatro parâmetros

Onde as soluções anteriores desviaram dos requisitos

  • Wei tentou ajustar um elefante com séries de Fourier (Fourier series), mas precisou de mais de 20 parâmetros para obter um resultado razoavelmente bom
    • O resultado também foi avaliado como algo que talvez não satisfizesse um “professor de artes do 3º ano”
  • Mayer et al. ajustaram um elefante com quatro números complexos
    • Como números complexos têm parte real e parte imaginária, na prática isso equivale ao uso de 8 parâmetros
    • Se os parâmetros iguais a 0 também forem contados, o total chega a 20
    • A imagem resultante foi avaliada como bela, em um estilo parecido com Picasso
  • Paintadosi argumentou que um único parâmetro seria suficiente e construiu uma função capaz de desenhar qualquer forma com um parâmetro
    • Mas isso se aproxima mais de uma codificação, que mapeia a forma para um único número real com centenas ou milhares de dígitos de precisão, e é difícil considerá-la uma solução válida para este problema
    • O foco desse trabalho é mostrar que contar o número de parâmetros pode falhar como medida da complexidade de um modelo
  • Este artigo primeiro organiza as condições do problema e, diferentemente das tentativas anteriores, apresenta um método para ajustar um elefante com quatro parâmetros não nulos

Leituras relacionadas

1 comentários

 
GN⁺ 2024-07-15
Comentários do Hacker News

  • Gosto do lado irônico do texto. Seria bom acrescentar também por que Fermi e von Neumann disseram aquilo.
    Na física, ao criar um modelo da realidade, não se deve simplesmente ir adicionando parâmetros um a um para ajustar os dados quando o modelo não bate com o experimento. Idealmente, o modelo deveria ter zero parâmetros, ou o mínimo possível; mais profundamente, os parâmetros deveriam surgir naturalmente a partir de hipóteses simples. Com 4 parâmetros, fica difícil saber se o modelo capturou algum aspecto da realidade ou se apenas ajustou os dados experimentais.

    • Isso já aparece no primeiro parágrafo do artigo, e o próprio artigo é, em geral, um texto humorístico.
      Ainda assim, a sabedoria desse aforismo parece ter sido bastante esquecida em várias áreas. Em muitos campos, os dados são “modelados” por enormes modelos de regressão com dezenas de parâmetros, ou por redes neurais com bilhões de parâmetros.

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • Um modelo com 0 parâmetros pode ser derivado de primeiros princípios, então parece mais próximo da matemática. Por exemplo, se você assume um espaço euclidiano, surgem fórmulas como a da área da superfície de uma esfera.
      Vejo a física começando quando há pelo menos uma constante natural que precisa ser medida, como a curvatura do espaço real ou a aceleração da gravidade.
    • Hodgkin e Huxley fizeram um trabalho revolucionário ao modelar a atividade neural estudando o axônio gigante da lula.
      Eles extraíram vários parâmetros a partir de ajustes de curvas para os potenciais registrados e as correntes injetadas, e só muito mais tarde se percebeu que eles correspondiam aos canais de sódio. De modo parecido, outros processos correspondiam aos canais de potássio. Se há vários parâmetros, até mesmo 4, não vejo motivo para se preocupar demais se não der para explicar o modelo com 3.
    • O primeiro exemplo realmente implementado foi Least square fitting of an elephant, de James Wei (1975, Chemtech).

  • Este texto é bem-humorado e bem escrito, mas acho que ele é mais do que isso.
    Em ML/AI, é comum fazer a piada, e também a observação, de que tudo é apenas ajuste de curvas. Ainda não vejo uma resposta para a questão de se algo inteligente pode surgir de “apenas ajuste de curvas”, em grande parte porque o significado de “inteligente” varia de pessoa para pessoa.
    Aqui vemos um ajuste de curvas muito limpo e fácil de entender, mas, no fundo, é o mesmo processo. Define-se um objetivo, otimiza-se sobre uma função de perda e espera-se que generalize. Claro que este elefante não generaliza, mas ele é bonitinho.
    Então voltamos à pergunta feita por von Neumann: por que são necessários tantos parâmetros? Ironicamente, recentemente muita coisa foi realizada com um número enorme de parâmetros, e a resposta acabou sendo: “com muitos parâmetros dá para fazer coisas incríveis”.

    • O ajuste de curvas contínuo sobre o mundo real pode gerar inteligência. O que falta não é algo dentro do modelo, mas um mecanismo para explorar, pesquisar e ampliar a experiência.
      Os LLMs atuais apenas se apoiam na experiência humana; eles não participaram muito da criação da própria experiência. Por isso são chamados de aprendizado por imitação ou de papagaios. Mas, se o modelo se tornar mais agente, poderá criar experiências úteis por conta própria, e o AlphaZero mostra isso.
    • Em IA, quanto mais parâmetros, melhor; na física, é o contrário.
    • Os detalhes são o ponto central. Em aprendizado por reforço, o objetivo se move, e em deep learning técnicas como early stopping são usadas com frequência para evitar otimização excessiva.

  • Freeman Dyson relembra, em uma entrevista ao Web of Life, a anedota que inspirou este artigo. Há também um link que vai direto para a parte sobre ajustar o elefante.
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • Um único parâmetro basta: https://aip.scitation.org/doi/10.1063/1.5031956

    • É parecido com a ideia de que é possível obter compressão ilimitada se você armazenar os dados no nome do arquivo, e não dentro do arquivo.
    • O artigo diz o seguinte:

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • A quantidade de parâmetros é uma métrica inadequada. É melhor olhar para a quantidade de informação contida nos valores dos parâmetros, entropia, complexidade de Kolmogorov e coisas do tipo.
    • É parecido com dizer que um disco rígido inteiro é um único número.

  • Infelizmente, o artigo não explicita o termo constante, isto é, a média r_0. Parece estar por volta de 180, mas, para gerar a imagem, é preciso ajustar esse valor, e não vejo como deixar de considerá-lo um quinto parâmetro indispensável.
    Por isso é difícil dizer que o objetivo foi realmente alcançado. Claro que foi muito divertido.

    • No texto, diz-se que esse valor é a média dos pontos de dados que se está tentando ajustar. Contá-lo ou não como parâmetro parece depender de considerar a padronização como parte do modelo.

  • Foi uma ótima passagem na entrevista de Dyson ao Web of Stories, e ela ressoou comigo como ressoou com os autores
    Foi quando Dyson levou a Fermi resultados preliminares sobre a teoria pseudoescalar do píon. Fermi rejeitou tudo muito rapidamente, o que foi um choque para Dyson, mas o poupou de perder mais tempo
    Fermi: Ao fazer cálculos teóricos, você precisa ter um modelo físico claro ou uma base matemática rigorosa. Você não tem nenhum dos dois. Quantos parâmetros livres usou no ajuste?
    Dyson: 4
    Fermi: Johnny von Neumann costumava dizer: “Com 4 parâmetros você consegue ajustar um elefante, e com 5 consegue fazê-lo balançar a tromba”

  • Eu gostaria que houvesse mais humor no arXiv
    Se eu fizer uma descoberta no meu tempo pessoal, sem usar recursos da empresa, vou anunciá-la da forma mais bem-humorada possível

  • Dr. Octave Levenspiel também não pode ficar de fora. Na minha graduação, ele era professor emérito e fez muitos trabalhos, inclusive na área de leitos fluidizados industriais
    A discussão sobre a curva do elefante, na época, estava no contexto de uma crítica a ajustes complexos com múltiplos parâmetros em reações catalíticas heterogêneas. https://levenspiel.com/elephants/
    Por um tempo, ele também tentou publicar um artigo de aerodinâmica sobre o voo dos dinossauros. http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    Esse tipo de curiosidade intelectual lembra um pouco Feynman girando pratos

  • Por que não há menção a On Growth and Form, de D’Arcy Thompson? O modelo paramétrico dele para organismos vivos era bem legal. Embora fosse muito simples
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • Pelo que entendi, a série de Fourier com parâmetros reais r(theta) = sum(r_k cos(k theta)) só consegue desenhar formas de “círculo ondulante”, com apenas um ponto em cada raio que sai da origem
    Parâmetros complexos z(theta) = sum(e^(z_ theta)) conseguem desenhar figuras mais sinuosas, isto é, epiciclos. A caneta pode voltar enquanto o braço desenhista gira, e cada parâmetro pode mover o ponto para algum lugar em um pequeno círculo ao redor do ponto calculado pelo parâmetro anterior
    Vídeo obrigatório da 3B1B: https://m.youtube.com/watch?v=r6sGWTCMz2k
    Como um parâmetro complexo equivale a 2 parâmetros reais, deveríamos comparar as 4 melhores curvas de cosseno com as 2 melhores curvas exponenciais complexas