Ao mencionar o teorema do não almoço grátis, também deveria vir a ressalva de que, na prática, ele não é um obstáculo tão grande assim
Só a suposição de que os dados vêm do mundo real já é suficiente para que esse teorema não atrapalhe
O livro não trata disso em nenhum momento; eu gostaria que explicasse que, aqui, “todas as distribuições” é algo mais próximo de uma generalização, para um espaço de alta dimensão de funções descontínuas, de todas as sequências de bits possíveis geradas por lançamentos de moeda, e que as funções contínuas são apenas um subconjunto minúsculo disso
No fim, significa algo mais próximo de dizer que, se os dados vêm de uma distribuição aleatória uniforme de “todas as possibilidades”, então não dá para aprender e prever algo como o próximo resultado de um lançamento de moeda
Sim. Esse tipo de teorema do não almoço grátis, ou resultados baseados em suposições excessivamente gerais, tende a parecer pessimista demais
Por exemplo, muita gente pensa ingenuamente que, por causa do problema da parada ou do teorema de Rice, a análise estática de programas é impossível
É parecido com o problema da indução de Hume. Sem suposições, não dá para conectar observações passadas a previsões futuras
O fato de o sol ter nascido mil manhãs não torna automaticamente mais ou menos provável que ele nasça amanhã; é preciso assumir algo como que, ao longo do tempo, os eventos geralmente continuam de forma parecida
Esse tipo de suposição não pode ser extraído dos dados. Mesmo que no passado as coisas tenham continuado de forma parecida, isso não diz nada sobre o futuro
Ainda assim, a ciência funciona bem apesar desse problema, e o aprendizado de máquina também continua funcionando bem porque as pessoas usam experiência e conhecimento prévio ao projetar algoritmos
Essas suposições são chamadas de viés indutivo, e fazem o aprendizado tender a certos padrões, como “coisas próximas geralmente são parecidas”
Não entendo bem como essa ressalva se aplica. Entendo que o teorema do não almoço grátis não quer dizer que certos problemas sejam impossíveis de aprender, mas que não existe um único algoritmo que funcione bem para todas as classes de problemas
Os exemplos usados na prova podem ser artificiais, mas, na prática, não é justamente conforme suposições adicionais que se escolhem algoritmos diferentes?
A teoria do aprendizado é uma tentativa de formalizar as ciências naturais até o ponto da tomada de decisão. A suposição oculta das ciências naturais é que, com um modelo algorítmico do mundo suficientemente sofisticado, é possível prever observações futuras a partir de observações passadas
Essa é a mesma suposição que Solomonoff fez ao provar a inferência indutiva, então é preciso começar por uma codificação Turing-completa, não pela chamada codificação “universal” de Rissanen
Ao criar teorias derivadas, tudo bem se afastar desse ponto de partida; mas, se você não começar por aí, acaba chegando a resultados inúteis, como a confusão dos últimos 50 anos sobre o que exatamente significa o “princípio do comprimento mínimo da descrição”
Mas isso não serve se a ideia for criar um modelo causal. Para modelar um sistema dinâmico, não dá para se afastar de código Turing-completo
Dá para ver um sistema dinâmico como uma máquina de estados finitos com um número enorme de estados, mas, para criar um código comprimido de forma ótima, é necessária uma semântica Turing-completa executada sobre um grafo cíclico direcionado de portas universais — como flip-flops, NOR ou NAND — em número muito grande, mas finito
Já descobriram qual é a causa da dupla descida?
Não sei se é um resultado generalizado, mas a equipe Circuits da Anthropic apresentou uma hipótese bastante convincente. A primeira fase de descida seria a etapa em que o modelo memoriza pontos de dados, e a segunda fase de descida seria a mudança, em termos geométricos, para aprender características
Aqui, características podem ser vistas como um espaço vetorial abstrato e de dimensão muito alta
Essa equipe está investigando a fundo a ideia de superposição, em que um único neurônio codifica vários conceitos
Eles fizeram experimentos com modelos de brinquedo e datasets em que representam explicitamente características latentes e depois as comprimem em um pequeno conjunto de dimensões de dados, forçando a superposição, e mostram como essa superposição se manifesta conforme o tamanho dos dados de treinamento
É claramente um modelo de brinquedo, mas é uma ideia convincente, ao menos para modelos que passam por superposição https://transformer-circuits.pub/2023/toy-double-descent/ind...
Não sou especialista, mas este artigo explora a dupla descida com um modelo simples
A interpretação é a seguinte: ao expandir para a região superparametrizada, é possível otimizar na direção de pesos com norma pequena, e esses pesos, por sua vez, generalizam bem
Se isso explica a dupla descida em geral, ou se também se aplica a outros modelos, como redes neurais profundas, é outra questão https://arxiv.org/pdf/2303.14151.pdf
Ainda não se sabe. Minha hipótese favorita pessoalmente é que o gradiente descendente estocástico é literalmente estocástico
Como ele otimiza sobre um subconjunto muito pequeno, e não sobre todo o corpus de treinamento, o gradiente não é exato
A ideia é que o treinamento excessivo empurra os ótimos locais e, em vez de contornar poços locais de overfitting, permite avançar recursivamente na direção da distribuição real
Na internet há, gratuitamente, muitos PDFs excelentes de matemática escritos por acadêmicos, educadores e engenheiros. O problema é que também há uma quantidade enorme de conteúdo duplicado
Fico me perguntando se seria possível criar um modelo de IA que sintetizasse bem conjuntos de materiais sobrepostos em um único PDF coerente, sem duplicação
Talvez baste escolher o livro usado na disciplina daquela universidade
Nem precisa de um modelo de IA. Probabilistic Machine Learning, de Murphy, é um excelente livro de referência e material de estudo
É uma implicância pequena, mas o título é confuso. Seria melhor trocar a primeira palavra por Machine-Learning ou Statistical-Learning
Espero que o autor corrija isso algum dia, se possível
A leitura é bem difícil. Por exemplo, na primeira página do capítulo 1, ele fala de minimização de forma quadrática e mostra algo que parece a fórmula de mínimos quadrados lineares, mas não explica se é isso mesmo
Acho que ajudaria se houvesse um pouco mais de explicação
Gosto do fato de haver muitos exercícios
Este texto parece voltado para pessoas com certo background matemático que querem entender teoria do aprendizado
Além disso, o capítulo em questão está claramente marcado como revisão, então ele presume que você já aprendeu, ou vai aprender, esse conteúdo em outro lugar
Começar pelos primeiros princípios não significa que seja fácil de ler
Como disse o comentário irmão, esse material claramente não é voltado para quem está aprendendo pela primeira vez
Ainda assim, a intuição está certa. Se você escrever a função objetivo dos mínimos quadrados ordinários, ela vira uma forma quadrática
A escolha da palavra “quadrática” aqui não é por acaso; é uma generalização de funções quadráticas usando matrizes
Essa seção trata da versão vetorial de minimizar uma função quadrática
Realmente não parece começar pelos primeiros princípios
Mínimos quadrados é uma expressão quadrática
Quadrática significa que há termos ao quadrado
Um livro de machine learning de 2014; hoje já parece algo clássico e histórico
Estou ansioso pelo dia em que vou dizer ao GPT-5: “Tenho uma ideia que quero testar; leia este livro e me diga se há algo relevante para fazer essa ideia funcionar melhor”
Nunca ouvi falar de um LLM que tenha criado uma ideia nova. Isso não só seria possível quando a ideia já tiver sido tentada por alguém antes?
Estou percebendo que transmitir contexto sobre $this é a parte difícil
É muito difícil explicar meu contexto como usuário com algumas variáveis de baixa dimensionalidade, e eu mesmo não entendo minha situação no universo o suficiente para explicá-la a uma IA
Também falta um vocabulário compartilhado com a IA. A internet parece ter conseguido trocar estados acordados de forma consistente por meio de um protocolo compartilhado, o HTTP
Por exemplo, dentro do Uber, dá para transmitir estado em um mundo estreito de requisição-resposta: número de telefone, carro, GPS, hora atual, pagamento
Mas, como estudante tentando aprender algoritmos, não sei como transmitir informações complexas como minha idade, meu ambiente de uso da internet, onde moro, minha preferência por explicações gráficas, meu histórico de me sentir intimidado por livros grossos, marcos como CS50 e minha proficiência em Python
Para uma ideia de startup, dizer apenas que “a tração é baixa” não basta; é preciso transmitir estado como rede de VCs, desenvolvedores e vendas, evidências de parcerias bem-sucedidas, número de participantes e receita
Mesmo no mundo real, os contextos de cada pessoa são tão diferentes que esse vocabulário só existe em pequenos bolsões
Também é problemático supor que o conhecimento exista como uma variável global e eterna. Em algumas regiões, muita gente nem tem eletricidade ou mesmo celulares básicos, então até se um PDF recomendado por uma IA será útil depende das estruturas locais de poder e da governança
Não sei como isso vai evoluir, mas só de pensar nas possibilidades já é interessante. Computadores conseguem conversar conosco facilmente e parecem bebês inteligentes desde o primeiro dia, mas talvez o verdadeiro gargalo para extrair mais utilidade seja, no fim, não conseguir inserir dados suficientes, adequados e baratos
Se você ler o livro por conta própria, a ideia vai melhorar. No processo, talvez também aprenda algo novo
1 comentários
Opiniões no Hacker News
Ao mencionar o teorema do não almoço grátis, também deveria vir a ressalva de que, na prática, ele não é um obstáculo tão grande assim
Só a suposição de que os dados vêm do mundo real já é suficiente para que esse teorema não atrapalhe
O livro não trata disso em nenhum momento; eu gostaria que explicasse que, aqui, “todas as distribuições” é algo mais próximo de uma generalização, para um espaço de alta dimensão de funções descontínuas, de todas as sequências de bits possíveis geradas por lançamentos de moeda, e que as funções contínuas são apenas um subconjunto minúsculo disso
No fim, significa algo mais próximo de dizer que, se os dados vêm de uma distribuição aleatória uniforme de “todas as possibilidades”, então não dá para aprender e prever algo como o próximo resultado de um lançamento de moeda
Por exemplo, muita gente pensa ingenuamente que, por causa do problema da parada ou do teorema de Rice, a análise estática de programas é impossível
O fato de o sol ter nascido mil manhãs não torna automaticamente mais ou menos provável que ele nasça amanhã; é preciso assumir algo como que, ao longo do tempo, os eventos geralmente continuam de forma parecida
Esse tipo de suposição não pode ser extraído dos dados. Mesmo que no passado as coisas tenham continuado de forma parecida, isso não diz nada sobre o futuro
Ainda assim, a ciência funciona bem apesar desse problema, e o aprendizado de máquina também continua funcionando bem porque as pessoas usam experiência e conhecimento prévio ao projetar algoritmos
Essas suposições são chamadas de viés indutivo, e fazem o aprendizado tender a certos padrões, como “coisas próximas geralmente são parecidas”
Os exemplos usados na prova podem ser artificiais, mas, na prática, não é justamente conforme suposições adicionais que se escolhem algoritmos diferentes?
A teoria do aprendizado é uma tentativa de formalizar as ciências naturais até o ponto da tomada de decisão. A suposição oculta das ciências naturais é que, com um modelo algorítmico do mundo suficientemente sofisticado, é possível prever observações futuras a partir de observações passadas
Essa é a mesma suposição que Solomonoff fez ao provar a inferência indutiva, então é preciso começar por uma codificação Turing-completa, não pela chamada codificação “universal” de Rissanen
Ao criar teorias derivadas, tudo bem se afastar desse ponto de partida; mas, se você não começar por aí, acaba chegando a resultados inúteis, como a confusão dos últimos 50 anos sobre o que exatamente significa o “princípio do comprimento mínimo da descrição”
Mas isso não serve se a ideia for criar um modelo causal. Para modelar um sistema dinâmico, não dá para se afastar de código Turing-completo
Dá para ver um sistema dinâmico como uma máquina de estados finitos com um número enorme de estados, mas, para criar um código comprimido de forma ótima, é necessária uma semântica Turing-completa executada sobre um grafo cíclico direcionado de portas universais — como flip-flops, NOR ou NAND — em número muito grande, mas finito
Já descobriram qual é a causa da dupla descida?
Aqui, características podem ser vistas como um espaço vetorial abstrato e de dimensão muito alta
Essa equipe está investigando a fundo a ideia de superposição, em que um único neurônio codifica vários conceitos
Eles fizeram experimentos com modelos de brinquedo e datasets em que representam explicitamente características latentes e depois as comprimem em um pequeno conjunto de dimensões de dados, forçando a superposição, e mostram como essa superposição se manifesta conforme o tamanho dos dados de treinamento
É claramente um modelo de brinquedo, mas é uma ideia convincente, ao menos para modelos que passam por superposição
https://transformer-circuits.pub/2023/toy-double-descent/ind...
Há mais detalhes aqui: https://calculatedcontent.com/2019/12/03/towards-a-new-theor...
A interpretação é a seguinte: ao expandir para a região superparametrizada, é possível otimizar na direção de pesos com norma pequena, e esses pesos, por sua vez, generalizam bem
Se isso explica a dupla descida em geral, ou se também se aplica a outros modelos, como redes neurais profundas, é outra questão
https://arxiv.org/pdf/2303.14151.pdf
Como ele otimiza sobre um subconjunto muito pequeno, e não sobre todo o corpus de treinamento, o gradiente não é exato
A ideia é que o treinamento excessivo empurra os ótimos locais e, em vez de contornar poços locais de overfitting, permite avançar recursivamente na direção da distribuição real
Na internet há, gratuitamente, muitos PDFs excelentes de matemática escritos por acadêmicos, educadores e engenheiros. O problema é que também há uma quantidade enorme de conteúdo duplicado
Fico me perguntando se seria possível criar um modelo de IA que sintetizasse bem conjuntos de materiais sobrepostos em um único PDF coerente, sem duplicação
É uma implicância pequena, mas o título é confuso. Seria melhor trocar a primeira palavra por Machine-Learning ou Statistical-Learning
Espero que o autor corrija isso algum dia, se possível
A leitura é bem difícil. Por exemplo, na primeira página do capítulo 1, ele fala de minimização de forma quadrática e mostra algo que parece a fórmula de mínimos quadrados lineares, mas não explica se é isso mesmo
Acho que ajudaria se houvesse um pouco mais de explicação
Gosto do fato de haver muitos exercícios
Além disso, o capítulo em questão está claramente marcado como revisão, então ele presume que você já aprendeu, ou vai aprender, esse conteúdo em outro lugar
Ainda assim, a intuição está certa. Se você escrever a função objetivo dos mínimos quadrados ordinários, ela vira uma forma quadrática
A escolha da palavra “quadrática” aqui não é por acaso; é uma generalização de funções quadráticas usando matrizes
Essa seção trata da versão vetorial de minimizar uma função quadrática
Quadrática significa que há termos ao quadrado
Interessante. Há algum bom livro sobre esse tema?
Interessante. Vou dar uma olhada quando tiver mais tempo
À primeira vista, parece cobrir bastante conteúdo em comum com este livro [1]. Fico curioso para saber como os dois diferem
[1]: https://www.cambridge.org/core/books/understanding-machine-l...
Estou ansioso pelo dia em que vou dizer ao GPT-5: “Tenho uma ideia que quero testar; leia este livro e me diga se há algo relevante para fazer essa ideia funcionar melhor”
$thisé a parte difícilÉ muito difícil explicar meu contexto como usuário com algumas variáveis de baixa dimensionalidade, e eu mesmo não entendo minha situação no universo o suficiente para explicá-la a uma IA
Também falta um vocabulário compartilhado com a IA. A internet parece ter conseguido trocar estados acordados de forma consistente por meio de um protocolo compartilhado, o HTTP
Por exemplo, dentro do Uber, dá para transmitir estado em um mundo estreito de requisição-resposta: número de telefone, carro, GPS, hora atual, pagamento
Mas, como estudante tentando aprender algoritmos, não sei como transmitir informações complexas como minha idade, meu ambiente de uso da internet, onde moro, minha preferência por explicações gráficas, meu histórico de me sentir intimidado por livros grossos, marcos como CS50 e minha proficiência em Python
Para uma ideia de startup, dizer apenas que “a tração é baixa” não basta; é preciso transmitir estado como rede de VCs, desenvolvedores e vendas, evidências de parcerias bem-sucedidas, número de participantes e receita
Mesmo no mundo real, os contextos de cada pessoa são tão diferentes que esse vocabulário só existe em pequenos bolsões
Também é problemático supor que o conhecimento exista como uma variável global e eterna. Em algumas regiões, muita gente nem tem eletricidade ou mesmo celulares básicos, então até se um PDF recomendado por uma IA será útil depende das estruturas locais de poder e da governança
Não sei como isso vai evoluir, mas só de pensar nas possibilidades já é interessante. Computadores conseguem conversar conosco facilmente e parecem bebês inteligentes desde o primeiro dia, mas talvez o verdadeiro gargalo para extrair mais utilidade seja, no fim, não conseguir inserir dados suficientes, adequados e baratos