O Zen e a Arte da Pesquisa em Machine Learning
(blog.jxmo.io)- Pesquisa em IA de nível mundial não depende só de talento; os resultados são definidos pela disposição de aguentar por muito tempo, repetindo leitura e construção
- A escolha do tema deve partir de uma compreensão profunda de conceitos fundamentais como cross-entropy, SVD e policy gradients, e não de palavras da moda com seis meses de vida
- Uma boa pesquisa não deve parar apenas em melhorar pontuações de benchmarks existentes; também precisa encontrar datasets que testem as capacidades que o novo método realmente revela
- Resultados experimentais, sejam bons ou ruins, trazem informação, mas quanto melhores eles parecem, maior a chance de serem bug ou medição incorreta, então é preciso paranoia saudável
- Agentes de código aumentam a velocidade, mas também ampliam a falta de entendimento do sistema e a troca de contexto, então é preciso compreender diretamente todo o sistema que produziu o resultado
O ponto de partida para se tornar pesquisador
- A pesquisa em IA começa repetindo, ao mesmo tempo, leitura e aprendizado e a prática de construir algo por conta própria
- Só um dos dois não basta; o pesquisador se forma indo e voltando entre essas duas atividades
- Pesquisa é parecida com meditação: nos dias em que o insight vem, você se senta; nos dias em que não vem, continua se sentando mesmo assim
- Insights científicos aparecem quase de forma aleatória, e na maioria dos dias eles não aparecem
- Como em música, esporte ou vendas, chegar ao nível mundial exige muito tempo, esforço e um grande volume de treino
- No artigo sobre SwiGLU, Noam Shazeer escreveu: “não explicamos por que essa arquitetura funciona, e atribuímos seu sucesso, como tudo mais, à misericórdia de Deus”, revelando o caráter aleatório do sucesso de ideias de pesquisa
- Ler artigos demais também pode ser um problema
- Um caminho comprovado é tentar primeiro uma solução, travar, resolver por conta própria e só então procurar a literatura quando suas próprias ideias se esgotarem
O que pesquisar
- Se você está começando, o tema exato de pesquisa em si não é tão importante
- Ainda assim, é melhor evitar escolher um tema que virou moda há menos de seis meses
- A IA se move rápido, mas as ideias fundamentais não mudaram tanto em 40 anos
- Não vale apostar demais a carreira em conceitos de 2026 como harnesses, agents e context engineering
- Para aprender mais, é preciso voltar ao básico
- É preciso aprender o que é cross-entropy e fazer contas à mão para pequenas distribuições
- É preciso entender SVD com profundidade suficiente para visualizá-lo mentalmente
- Em vez de olhar só para RL aplicado a coding, é preciso aprender a ideia por trás de policy gradients, sua utilidade e por que isso foi popular por décadas
- Se o melhor resultado possível de um projeto de pesquisa é apenas aumentar a pontuação de benchmarks existentes, então ele não é profundo o suficiente
- Datasets existentes muitas vezes não conseguem testar capacidades novas e interessantes
- Jason Wei vê a tarefa de encontrar datasets que forcem um novo método a exercer as capacidades em que ele realmente funciona como uma habilidade subestimada, mas decisiva, na pesquisa em IA
- O tema concreto deve ser encontrado por você mesmo, mergulhando fundo, focando nos fundamentos e evitando ficar preso à corrida por benchmarks
Mente de iniciante e julgamento aberto
- A frase de Suzuki, “na mente do iniciante há muitas possibilidades; na do especialista, poucas”, também se aplica à pesquisa
- Na pesquisa moderna em IA, repete-se com frequência no Vale do Silício que experiência prévia em pesquisa de IA pode até atrapalhar uma boa intuição de pesquisa
- Alguns pesquisadores da era pré-scaling continuaram focados em projetar métodos que funcionam em pequena escala, mas falham quando a escala aumenta
- Na OpenAI, muitos dos que comandam a empresa pelo lado técnico têm menos de 35 anos, e muitos dos principais tomadores de decisão do ChatGPT têm menos de 30
- Como ainda é um campo inicial, com menos de quatro anos desde o lançamento do ChatGPT, ninguém tem uma vantagem esmagadora por estar nisso há tempo demais
- Ficar apegado demais a uma ideia por muito tempo pode sair pela culatra, então é preciso manter a mente aberta e não deixar o ego distorcer o julgamento
A inspiração também vem de fora da pesquisa
- A inspiração chega em momentos inesperados
- A descoberta da estrutura do anel de benzeno é famosa por ter surgido em um sonho
- Era uma estrutura nunca antes vista, imaginada como a imagem de uma cobra mordendo a própria cauda
- O Ozempic é um caso que veio de um lagarto
- O hormônio GLP-1 que o Ozempic imita foi descoberto primeiro no veneno do monstro-de-gila, um lagarto do deserto que come apenas algumas vezes por ano
- Essa descoberta levou a um mecanismo que também funciona em humanos
- Para fazer boa pesquisa, também é preciso fazer coisas que não são pesquisa
- Muitos momentos de “aha” acontecem não diante do teclado, mas especialmente durante caminhadas
- Pensadores como Darwin, Tesla, Feynman e Aristóteles falaram sobre os grandes benefícios de esticar as pernas e caminhar um pouco
Como lidar com resultados experimentais
- Mesmo que algo tenha sido implementado perfeitamente, a ideia pode não ser fundamentalmente verdadeira
- Ao analisar experimentos, é preciso ter equanimidade experimental para aceitar como bons tanto os resultados que deram certo quanto os que não deram
- Ambos trazem a mesma quantidade de informação
- Às vezes se aprende mais com uma sequência de resultados negativos do que com um único resultado positivo
- Não se deve ficar empolgado demais com bons resultados
- Grande parte dos bons resultados vem de bugs
- Pode ser que o resultado não seja realmente bom, mas tenha sido medido de forma errada, e você tenha convencido a si mesmo do contrário
- É natural querer que a própria ideia funcione, mas pesquisadores experientes compartilham um forte ceticismo, especialmente diante de resultados que parecem bons demais
- Resultados bons demais quase sempre diferem da realidade
Comparação, sorte e profundidade
- Pesquisa é extremamente orientada a resultados
- Especialmente na academia, é fácil se abalar emocionalmente ao ver o sucesso de artigos de outras pessoas
- As pessoas têm sucesso por motivos diferentes
- Algumas têm sorte
- O processo de revisão acadêmica não é nem consistente nem justo
- Quando surgir uma nova pesquisa admirável na sua área, a pergunta deve ser: “eu estava trabalhando em um nível de profundidade em que poderia ter produzido esse insight por conta própria?”
- Se a resposta for “sim”, então o processo estava certo, mas a descoberta não aconteceu porque você estava fazendo outra coisa
- Se a resposta for “não”, isso deve servir de motivação para ir mais fundo
O trabalho repetitivo invisível
- Assim como se diz que antes da iluminação se corta lenha e se carrega água, e depois da iluminação também se corta lenha e se carrega água, a pesquisa também tem muito trabalho repetitivo
- Muitos projetos bem-sucedidos têm, nos bastidores, centenas de horas de trabalho operacional
- Andrej Karpathy rotulou manualmente uma parte significativa do ImageNet
- Os criadores do SWEBench filtraram cuidadosamente dados do GitHub por centenas de horas para criar um conjunto pequeno e manejável de issues útil para avaliação
- Ao olhar a carreira de grandes pesquisadores, vê-se muito tempo de trabalho invisível antes do sucesso
- Quanto mais ambiciosa e voltada ao futuro for a ideia, mais trabalho ela pode exigir em implementação e avaliação rigorosas; essa dificuldade não é defeito, é característica
O hábito de pesquisa de desconfiar de bugs
- Collin Raffel considera que muitas ideias fracassam não porque sejam ruins, mas por bugs de código que o pesquisador não encontrou
- No mundo dos LLMs, esse problema é especialmente difícil
- A stack moderna de software de deep learning é muito complexa, e bugs podem estar em qualquer lugar
- treino
- inferência
- harness
- dados
- Se algo parece errado, não se deve simplesmente deixar passar
- É preciso registrar muitas métricas e tentar entender todas elas
- Se algumas métricas divergem do esperado, é preciso investigar o motivo, porque algo pode realmente estar errado
- Uma das características importantes de um pesquisador é a paranoia saudável
Feedback rápido e troca de contexto
- A maioria dos experimentos em deep learning demora demais
- Treinar um modelo pode levar semanas ou meses
- Até avaliar um modelo em uma única tarefa pode levar dias
- Ao programar com agentes, pode surgir a vontade de disparar vários experimentos em paralelo e deixá-los rodando em ciclos lentos
- Paralelização simples ajuda até certo ponto, mas troca de contexto é um padrão prejudicial
- É preciso projetar um fluxo de trabalho de pesquisa ergonômico que favoreça feedback experimental rápido
- É preciso reduzir o tempo de cold start do treinamento
- É preciso criar avaliações pequenas que devolvam resultados rapidamente
- O nanoGPT speedrun de Keller Jordan mostra quanto se pode aprender com ciclos rápidos de iteração
- Alguns resultados inevitavelmente demoram muito
- A capacidade de manter o estado ao longo de vários dias e entender hoje um experimento da semana passada é muito valiosa
Problemas agravados por agentes de código
- Agentes de código permitem avançar mais rápido, mas pioram dois problemas
- Fica mais difícil entender os detalhes fundamentais
- A troca de contexto se torna mais frequente
- Bons pesquisadores precisam agir ativamente contra essas duas forças
- O Codex pode escrever scripts de treino, executá-los, observá-los em execução, interpretar os resultados e enviá-los por e-mail
- Mas pequenos erros como os seguintes podem acontecer
- Ao surgir um erro, ele reduz o system prompt sem perguntar
- Ele reduz o sequence length para que a avaliação rode em tempo razoável
- Ele executa uma config errada porque o usuário não especificou explicitamente
- Do ponto de vista de engenharia, podem parecer erros pequenos e fáceis de corrigir, mas do ponto de vista científico eles são graves
- Mesmo pequenas omissões podem mudar materialmente resultados importantes de um artigo
- Portanto, isso não pode ser aceito
- Mesmo que você não tenha escrito o código diretamente, para entender os resultados é preciso entender o sistema que os produziu
- Boa ciência exige aprender como o sistema inteiro funciona, para que se possa confiar que a observação é verdadeira
A disposição que faz a pesquisa
- O que é necessário para se tornar um pesquisador bem-sucedido não é apenas talento
- A disposição é muito subestimada
- É preciso manter curiosidade e persistência, continuando reflexivo e meticuloso, para que as ideias apareçam
- As melhores pesquisas e os melhores trabalhos de produto vêm de quem consegue permanecer tempo suficiente com um problema para realmente entendê-lo
- A pressão para publicar rápido e iterar rápido existe de fato, mas o acúmulo vem da profundidade
2 comentários
Comentários do Hacker News
O Zen usado no Ocidente e o Seon (禪) do Leste Asiático parecem coisas bem diferentes
O Zen ocidental talvez esteja mais próximo da imagem vinda do livro dos anos 1970 Zen and the Art of Motorcycle Maintenance, e em geral carrega a nuance de serenidade e mente de iniciante
Já o Seon do Leste Asiático realmente dá mais peso à ausência de propósito ou à falta de finalidade
O Zen ocidental parece mais voltado a treinar o eu para torná-lo mais forte, enquanto o Seon do Leste Asiático se aproxima mais de seguir a natureza, soltar o eu e deixar as coisas fluírem
Na prática real do Seon, o foco está em questionar o eu, abandonar o apego e perceber que o desejo de realização, comparação e controle é todo efêmero
Há uma expressão famosa, banghajag (放下著), isto é, “largue tudo”
Na verdade, o estoicismo da Roma antiga parece mais próximo do Seon do que o Zen ocidental
Então, quando vi este texto, achei que seria sobre desistir do desejo de sucesso, mas ele foi numa direção totalmente diferente, e isso foi interessante
Já o estoicismo que seria mais correto chamar de “romano” está muito mais próximo de um sistema ético abrangente
Ela condensa um estado mental em cinco palavras, e também lembro de ter ouvido que a escrita dela foi fortemente influenciada pela filosofia oriental
É um excelente material sobre maneiras de existir de forma saudavelmente sem propósito
https://www.idler.co.uk/article/leisure-principles/
https://archive.is/nKJM2
Quando isso acontece, o cérebro sai do estado de “correr atrás de pensamentos” e descansa; depois de parar a meditação, você consegue se concentrar melhor e realizar mais coisas
Provavelmente é verdade que muitos praticantes ocidentais de Zen perceberam isso e usam a meditação com esse objetivo
Pensando em Star Wars, a “Força” é retratada como a capacidade de erguer uma nave espacial pelo poder da concentração, mas isso é um mito
Em contraste, ao alcançar um estado mental seon, torna-se menos importante se você consegue ou não erguer essa nave espacial
Nas tradições orientais, o Seon é um fim em si mesmo
Fico curioso se era disso que a ideia original queria se aproximar
Por volta de 2015, passei a gerenciar ao mesmo tempo engenheiros de backend e engenheiros de machine learning
Muitos dos engenheiros de backend queriam trabalhar mais com machine learning e, quando tiveram a oportunidade, alguns se saíram bem, mas outros queriam voltar para backend em poucos meses
Ao mesmo tempo, um dos líderes de machine learning queria se afastar de machine learning e trabalhar apenas em backend de suporte a machine learning
Observando esse movimento, comecei a pensar que cada pessoa tem uma frequência diferente com que precisa verificar sinais de sucesso
Pela natureza do produto, para medir o desempenho de um modelo novo ou atualizado, era preciso rodá-lo em produção por pelo menos um mês inteiro, e do trabalho inicial até a análise final normalmente levava mais de dois meses
Já muito do trabalho de backend permite criar um protótipo rápido, executá-lo, ver imediatamente se funciona e seguir para a próxima coisa, então os sinais chegam o dia inteiro
Essa diferença na frequência de sinais de que cada pessoa precisa influenciava bastante se ela gostava de trabalhar com machine learning
Era uma espécie de engenharia de atributos em versão gerencial, e aprendi muito com as pessoas daquele time
O time de engenharia de dados queria fazer mais ciência de dados, e dois cientistas de dados queriam os dois virar engenheiros de dados
Um deles dizia que, como todo mundo queria ser cientista de dados, estava lotado demais, então dava para ganhar mais dinheiro como engenheiro de dados
Em outra ocasião, um amigo reclamou que precisava sair do frontend puro, chamando isso de uma carreira sem saída; no almoço do dia seguinte, um colega estava pensando em migrar porque os desenvolvedores frontend levavam todo o crédito
A frase “Sento nos dias em que tenho insights. Sento nos dias em que não tenho insights” me lembrou uma resposta que Ed Witten deu numa entrevista com Brian Greene
Quando Greene perguntou como era o cotidiano no Institute for Advanced Study, Witten respondeu: “Eu sento à minha mesa”
O texto tem como eixo a ideia de “ir mais fundo”, e eu vejo isso como uma faca de dois gumes
Entropia, tensores e gradientes são importantes e quase requisitos essenciais
Mas eu diria que a maior parte do progresso em deep learning nos últimos 10 anos veio menos de ideias fundamentais e mais de práticas incrementais validadas por experimento
Há boas intuições sobre por que ReLU é melhor que sigmoid, mas o artigo original do Hinton também era, em grande parte, algo próximo de “porque treina 3 vezes mais rápido”
Repensar os fundamentos pode ajudar, mas é raro que o progresso real aconteça no modo “vamos mudar as bases”
Artigos importantes como AlexNet ou Attention Is All You Need também foram mais sobre refinar ideias existentes e mostrar como isso ajudava
Machine learning é uma ciência experimental, e muitas ideias matematicamente elegantes não funcionam, enquanto ideias de engenharia costumam funcionar bem
Quanto ao conselho de que “uma das características mais importantes para um pesquisador é uma paranoia saudável”, depois de ver doutorandos entrarem em burnout completo tantas vezes, não sei se isso é melhor do que dizer “depressão faz bem ao filósofo”
Se a intenção é dizer para ser um explorador persistente, concordo
Ficar agarrado a uma ideia por tempo demais pode ser contraproducente, e concordo com a conclusão de que é preciso manter a mente aberta e não deixar o ego turvar o julgamento
Foi um ensaio realmente excelente e muito agradável de ler
Como o autor disse, não só na pesquisa, mas em várias áreas, sucesso ou progresso dependem bastante do temperamento
No fim, o que importa é boa atitude, paciência, curiosidade inata e resiliência diante do fracasso
As capacidades que fazem um bom pesquisador se transferem muito bem para outras áreas
Só que, por causa de uma cultura que reduz a tolerância ao desconforto à hiperconveniência, essas capacidades parecem estar ficando mais raras e mais valiosas
As pessoas estão achando cada vez mais difícil esperar ou fracassar
Como curiosidade etimológica sobre a palavra Zen, Zen é japonês e veio do chinês Chan, que por sua vez veio do sânscrito Dhyana
Dhyana é traduzido aproximadamente como concentração ou meditação
O percurso sânscrito → chinês → japonês reflete a rota geográfica pela qual o budismo se espalhou a partir da Índia
A mesma palavra em vietnamita e coreano é Thien e Seon, respectivamente
Acho que isso acontece porque machine learning está mais próximo de biologia ou alquimia do que de matemática ou programação
Em matemática ou programação, dá para descer até os primeiros princípios, as abstrações são sólidas e a não determinismo é limitada, mas em machine learning não é assim
Em um contexto parecido, parece bem ridículo e míope que a Anthropic mantenha vagas abertas, mas proíba usar seus próprios produtos para pesquisa de modelos de fronteira
Não sei de onde eles acham que esse tipo de talento vai surgir
Parece uma decisão precipitada, e com grande chance de acabar provocando um processo antitruste algum dia
O trecho “O que impressiona na OpenAI é que as pessoas que administram a empresa, pelo menos a maior parte do lado técnico, têm menos de 35 anos. Muitos dos principais tomadores de decisão por trás do ChatGPT têm menos de 30” parece sugerir que ainda há espaço para melhorar, já que na corrida do ouro a maioria dos 49ers também tinha menos de 25 anos
Mantendo a analogia, muitos heróis da IA talvez sejam pessoas que, desde cedo, estavam perto dos estoques de TPU e GPU
O ponto central deste texto parece ser “não confie demais no conjunto atual de avaliações”
As pontuações refletem apenas parte do problema
O interessante é descobrir métricas de avaliação novas e estáveis, e ver se, ao fazer coisas novas com base nelas, surgem resultados inteligentes inesperados
Só que o ponto principal é que focar em problemas propostos por outras pessoas é uma forma de pensar muito específica e bastante de curto prazo
Um bom pesquisador melhora a pontuação em benchmarks, e um pesquisador excelente pensa em qual problema ele próprio está resolvendo
O resumo dos comentários do Hacker News também é interessante.