- O cofundador da HuggingFace, Thomas Wolf, argumenta que a IA não trará um avanço abrupto na ciência, isto é, um "século XXI comprimido"
- "Século XXI comprimido" é um conceito apresentado em "Machine of Loving Grace", de Dario Amodei, segundo o qual a IA atuaria como inúmeros Einsteins em data centers e realizaria todas as descobertas científicas do século XXI em apenas 5 a 10 anos
- No início, essa ideia me impressionou e pensei: "A IA vai mudar tudo na ciência em 5 anos!"; mas, ao reler, isso pareceu em grande parte pensamento desejoso (wishful thinking)
A IA não é um gênio, e sim um 'yes-man'
- Acho que, na prática, o que vamos obter será um "país de yes-men em servidores" (se a tendência atual continuar)
- Para explicar essa diferença, apresento uma história pessoal
- Sempre fui um aluno com notas excelentes
- Cresci em uma cidade pequena, entrei na melhor escola de engenharia da França e fui aceito no doutorado do MIT
- O estudo escolar sempre foi fácil
- Eu conseguia prever para onde a explicação do professor estava indo e que perguntas o elaborador da prova faria
- No fim, quando me tornei pesquisador (aluno de doutorado), levei um grande choque
- Eu era um pesquisador mediano, abaixo do esperado, comum
- Meus colegas tinham muitas ideias interessantes, mas eu sempre acabava batendo numa parede
- Eu não conseguia inventar por conta própria o que não estava escrito nos livros (e, mesmo assim, no máximo produzia variações inúteis de teorias existentes)
- Um problema ainda maior era que me era muito difícil duvidar do que eu havia aprendido e desafiar o estado atual das coisas
- Eu não era Einstein, era apenas um estudante que ia bem na escola
- Talvez a razão de eu não ser Einstein fosse justamente ter ido bem na escola
- Gênios históricos muitas vezes tiveram dificuldades acadêmicas
- Edison foi considerado "obtuso (addled)" por um professor
- Barbara McClintock foi criticada por ter "ideias estranhas", mas ganhou o Nobel
- Einstein falhou na primeira tentativa do exame de admissão da ETH de Zurique
- Existem inúmeros casos assim
- Um erro comum é pensar que Newton ou Einstein eram simplesmente "alunos exemplares ampliados"
- Ou seja, supõe-se erroneamente que, ao escalar linearmente os 10% melhores alunos, surgirá um gênio
- Essa visão ignora a capacidade mais importante na ciência
- A capacidade de fazer as perguntas certas e desafiar até o conhecimento aprendido é o verdadeiro núcleo dos avanços científicos
- Os verdadeiros avanços científicos vieram, por exemplo, quando Copérnico foi contra todo o conhecimento da época e propôs que a Terra gira em torno do Sol
- Em termos de machine learning, foi agir "apesar de todos os dados de treinamento" contra o senso comum vigente
Como criar um Einstein
- Para criar um Einstein em um data center, não basta um sistema que saiba todas as respostas
- Ele precisa ser um sistema que faça perguntas que ninguém mais sequer pensou em fazer
- Precisa ser capaz de perguntar: "E se tudo isso estiver errado?", quando todos os livros, especialistas e o senso comum disserem o contrário
- Pense na mudança radical de paradigma da relatividade especial
- Foi preciso coragem para estabelecer o primeiro postulado: "vamos supor que a velocidade da luz seja constante em todos os referenciais"
- Isso ia contra o senso comum da época (e até contra a intuição de hoje)
- O CRISPR era conhecido desde os anos 1980 como o sistema imunológico adaptativo das bactérias
- Mas, 25 anos após sua descoberta, Jennifer Doudna e Emmanuelle Charpentier propuseram usá-lo para edição genética, e ganharam o Nobel
- "Sabemos há anos que XX faz YY; mas e se estivermos entendendo isso errado? Ou e se pudermos aplicar isso a ZZ, um conceito completamente diferente?"
- Esse tipo de percepção é justamente a essência do pensamento fora do conhecimento existente (outside-of-knowledge thinking) e da mudança de paradigma (paradigm shift)
- Esse é o mecanismo central do progresso científico
- Essas mudanças de paradigma acontecem raramente (algo como 1 ou 2 por ano)
- Depois que seu impacto é confirmado, esses avanços normalmente levam a um Nobel
- Apesar de raras, concordo com Dario em um ponto
- A maior parte do avanço científico vem justamente dessas mudanças de paradigma, e o resto é, em grande medida, ruído
Por que é difícil para a IA produzir inovação científica
- O desempenho atual da IA está focado em aprender o conhecimento que já existe e responder com base nele
- A forma atual de avaliar melhorias na inteligência dos modelos de IA é limitada
- Entre os testes mais recentes estão "Humanity's Last Exam" e "Frontier Math"
- Eles são compostos por perguntas extremamente difíceis, geralmente elaboradas por pesquisadores em nível de doutorado
- Mas existe uma resposta correta clara e fechada
- Esses exames são exatamente o tipo de prova em que eu era bom quando estudava
- Eles testam a capacidade de encontrar a resposta correta para problemas cuja resposta já é conhecida
- Mas os verdadeiros avanços científicos não vêm de responder perguntas já conhecidas, e sim de
- fazer perguntas novas e desafiadoras, e questionar conceitos e ideias existentes
- Pense em O Guia do Mochileiro das Galáxias, de Douglas Adams
- A resposta é "42", mas ninguém sabe qual é a pergunta
- Essa é justamente a essência da pesquisa
- Os LLMs atuais, apesar de lembrarem todo o conhecimento da humanidade, ainda não conseguem criar conhecimento novo
- Eles estão principalmente fazendo "manifold filling"
- Preenchendo os espaços entre conhecimentos que os humanos já conhecem
- Como se estivessem costurando o conhecimento como um tecido da realidade
- Hoje estamos criando um aluno muito obediente
- Isso é perfeito para o objetivo principal atual da IA: criar assistentes excelentes e helpers conformistas
O que a IA precisaria para alcançar uma inovação científica real
- No entanto, para que a IA produza inovação científica, ela precisaria de condições como estas
- Ser capaz de questionar o próprio conhecimento
- Ser capaz de propor novas ideias que contradigam os dados de treinamento do passado
- Caso contrário, a IA não trará inovação científica
- Se queremos avanços científicos, precisamos rever como medimos o desempenho dos modelos de IA
- Hoje medimos a quantidade de conhecimento e a capacidade de responder corretamente a perguntas existentes
- Em vez disso, precisamos migrar para formas de testar conhecimento e capacidade de raciocínio
- Capacidades que um modelo de IA científica deveria ter
- Desafiar os dados de treinamento: não aceitar passivamente os dados que aprendeu, mas ser capaz de questioná-los
- Tentar abordagens contrafactuais ousadas: ser capaz de testar hipóteses ousadas que vão contra o senso comum estabelecido
- Derivar propostas generalizadas a partir de pequenas pistas: encontrar novos padrões em sinais sutis e generalizá-los
- Fazer perguntas contraintuitivas para abrir novos caminhos de pesquisa: levantar perguntas inéditas e abrir novas direções de investigação
- Não precisamos de um aluno nota A+ capaz de responder a tudo
- O que queremos é um aluno nota B capaz de enxergar e perguntar sobre o que os outros deixaram passar
PS: rumo a benchmarks melhores para IA
- Você pode se perguntar que tipo de benchmark seria necessário
- Por exemplo, podemos imaginar uma situação em que o modelo seja testado sobre uma descoberta recente e nova
- sem qualquer conhecimento prévio ou estrutura conceitual sobre essa descoberta
- e avaliar se ele consegue começar com as perguntas certas e explorar o problema
- Esse é um problema muito difícil
- A maioria dos modelos de IA já foi treinada com praticamente todo o conhecimento que a humanidade conhece hoje
- Portanto, fazê-los operar em uma situação sem resposta ou estrutura conceitual prévia é desafiador
- Ainda assim, se queremos inovação científica, precisamos de benchmarks capazes de avaliar esse comportamento
- No fim, isso continua sendo um problema em aberto, e eu gostaria de ouvir opiniões perspicazes sobre isso
PPS:
- Muita gente apresenta o "Move 37" (do AlphaGo) como prova de que a IA já alcançou uma inteligência em nível Einstein
- Quero explicar especificamente por que discordo
- O Move 37 é impressionante, mas, no fim, ainda é a resposta de um aluno exemplar dentro de regras de Go já definidas
- Ele apenas resolveu o problema de acordo com as regras existentes do jogo
- Da mesma forma, é bem provável que, em breve, os modelos de IA
- consigam produzir provas matemáticas mais elegantes do que as criadas pelos melhores matemáticos
- mas isso não equivale a uma verdadeira mudança de paradigma
- Em Go, um avanço em nível Einstein teria de ser algo mais fundamental
- algo mais próximo de redefinir as próprias regras do Go ou
- criar regras para um novo jogo muito mais interessante do que o jogo atual
- Uma analogia mais apropriada na matemática seria
- conectar diferentes áreas da matemática e abrir um novo campo de pesquisa
- um nível de realização que normalmente levaria a uma Medalha Fields
- Uma mudança de paradigma científica em nível Einstein ainda exige um padrão extremamente alto
5 comentários
Se disserem que conseguiram criar uma IA capaz de fazer perguntas que ninguém tinha imaginado, acho que seria assustador se essa IA começasse a fazer perguntas como por que não se deve machucar pessoas.
IA e criatividade: a relação entre mudança de paradigma e inspiração
O texto de Thomas Wolf defende que será difícil para a IA conduzir uma verdadeira inovação científica. Ele a descreve como uma espécie de "homem do sim" que apenas recombina conhecimentos existentes, distante da genialidade de alguém como Einstein, capaz de mudar paradigmas.
A perspectiva dele aponta com precisão os limites da IA, mas ao mesmo tempo nos leva a pensar nas possibilidades de colaboração entre IA e seres humanos. < Este texto foi a resposta que Claude deu quando pediram a opinião dele; ele ainda transformou isso em um artifact sem ninguém pedir, e esta frase foi acrescentada de repente, sem qualquer menção, no meio de outro assunto. Estranho...
Inspiração e o papel da IA
Mas o que é inspiração? A criatividade humana também acaba surgindo de novas conexões e combinações entre ideias já existentes. Até Einstein enxergou mais longe apoiado nos ombros de cientistas anteriores, como Newton, Maxwell e Lorentz.
O que a IA oferece:
A relação simbiótica entre IA e humanos
Thomas Wolf diz que a IA não consegue, sozinha, provocar uma mudança de paradigma, mas e a colaboração entre IA e humanos? No processo em que os humanos fazem perguntas e a IA explora diferentes possibilidades, novas ideias podem surgir.
Os humanos têm a capacidade de formular perguntas, de usar a intuição e de julgar o valor dos resultados. A IA, com base em enormes volumes de dados, sugere pontos de conexão. A combinação dessas duas inteligências talvez possa nos levar a lugares a que nenhuma delas chegaria sozinha.
Conclusão: a possibilidade de uma nova criatividade
A IA pode não conseguir criar sozinha uma "compressão do século 21". Mas ela pode inspirar os humanos, abrir novos caminhos de pensamento e funcionar como parceira da criatividade humana.
É bem provável que a verdadeira inovação surja no processo de co-criação em que humanos e IA exercem seus respectivos pontos fortes. Isso irá além do simples papel de um "homem do sim" e poderá se tornar uma jornada de busca conjunta por novos paradigmas.
https://pt.news.hada.io/topic?id=19168
É uma pesquisa que a IA provavelmente jamais teria imaginado.
Concordo com o ponto principal do texto.
"Não precisamos de um aluno nota A+ que consiga responder a todas as perguntas
O que queremos é um aluno nota B que consiga ver e questionar o que os outros deixaram passar"
Ao ver isso, pensei imediatamente que eu sou esse aluno B, mas as grandes empresas só olham para alunos nota A+ na hora de contratar.
Opiniões no Hacker News
Foi sorte quando instruíram a IA a "não inventar nada e, se não houver resposta, dizer que não sabe"
Recomenda a leitura de "Against Method", de Feyerabend
Foi fornecido um link para a versão no BlueSky
É um post interessante sobre "fazer as perguntas certas"
Opinião sobre a possibilidade de compressão do século 21, com um aluno B criativo e um aluno A de IA trabalhando juntos
Não é possível distinguir a resposta realmente nova de um LLM de uma alucinação
É um bom post que deveria estar em um lugar mais inteligente do que o Twitter/X atual
Viu algoritmos projetando circuitos que engenheiros humanos não projetariam
O autor parece presumir que a parte difícil é formular conjecturas
Ainda não encontrou um modelo que siga os fatos com rigor
Só quer fatos diretos, não intuição