Morre Doug Lenat
(garymarcus.substack.com)- O pesquisador de IA Doug Lenat foi uma figura central na tentativa de transformar a IA simbólica, que lida com representações explícitas, em sistemas reais; Gary Marcus o descreveu como “um gigante que a IA perdeu”
- Lenat dedicou os últimos 40 anos de sua vida ao Cyc, tentando codificar o senso comum em uma forma interpretável por máquinas, e a Cycorp continuou existindo por 40 anos mesmo sem grande sucesso comercial
- A tentativa do Cyc mirava diretamente o problema de representação e inferência de senso comum, que ainda é difícil para os atuais grandes modelos de linguagem (LLMs)
- Ken Forbus e Muktha Ananda avaliam muito positivamente o impacto deixado pelo Cyc em representação simbólica, inferência e pesquisas sobre grafos de conhecimento/Web
- Um dos últimos artigos de Lenat, Getting from Generative AI to Trustworthy AI, foi uma tentativa de conectar as lições do Cyc aos LLMs modernos
A posição de Doug Lenat e do Cyc
- Doug Lenat foi um pesquisador que tentou fazer funcionar na prática a IA simbólica explorada por Marvin Minsky, John McCarthy, Allen Newell e outros
- Gary Marcus vê a integração entre redes neurais e IA simbólica como o tema de sua vida, mas considera que, no campo da IA simbólica pura, Lenat havia ido muito mais fundo
- Lenat iniciou e liderou o projeto Cyc durante os últimos 40 anos
- O Cyc foi uma tentativa de codificar o senso comum sobre o mundo em uma forma que máquinas pudessem interpretar
- O Cyc e a Cycorp, criada para abrigá-lo, não alcançaram grande sucesso comercial
- Ainda assim, o fato de a Cycorp continuar operando 40 anos depois é um caso raro entre empresas de IA
- Para Marcus, o Cyc é um experimento pioneiro difícil de classificar simplesmente como sucesso ou fracasso
- O Cyc não se consolidou por completo, mas, quanto mais houver progresso real rumo à inteligência artificial geral, mais importante ele poderá parecer
O problema da inferência de senso comum e o último artigo
- Há a percepção de que muitos jovens pesquisadores de IA conhecem pouco o Cyc, mas deveriam saber o que ele tentou fazer
- Isso não significa propor o Cyc como substituto imediato para grandes modelos de linguagem
- O objetivo de fazer máquinas representarem e inferirem senso comum continua em aberto
- A palestra TED de 2023 de Yejin Choi, Why AI is incredibly smart and shockingly stupid, dá continuidade à ideia de que os sistemas atuais de IA, apesar do sucesso aparente, carecem de senso comum
- O livro de 2019 de Marcus e Ernie Davis, Rebooting AI, também trata do mesmo tema
- Grandes modelos de linguagem podem acertar em alguns casos e errar em outros, dependendo da formulação da pergunta ou de acasos nos dados de treinamento, criando uma ilusão de senso comum
- Mesmo que erros específicos sejam corrigidos, outros casos de tipo semelhante podem continuar surgindo
- O Cyc foi uma tentativa de encontrar uma resposta mais profunda e robusta
- O pesquisador de IA da Northwestern University Ken Forbus avalia o Cyc como o primeiro caso a mostrar que representação simbólica e inferência podem abarcar uma parte considerável do senso comum
- Bases de conhecimento com bilhões de fatos são comuns na indústria, mas Forbus considera que o Cyc ainda é o mais avançado em termos de expressividade
- O grupo de pesquisa de Forbus usa as representações do Cyc há décadas
- Muktha Ananda, Google Learning Platform Director, elogiou a visão, a perseverança e a tenacidade de Lenat, e afirmou que o trabalho no Cyc foi uma grande inspiração em sua própria trajetória de pesquisa em grafos de conhecimento/Web
- Marcus e Lenat tentaram escrever juntos, ao longo do último ano, um artigo longo organizando as lições obtidas com o Cyc
- O manuscrito chegou a quase 40.000 palavras e misturava ciência com história oral
- O Cyc era impressionante em escopo, mas sua implementação era difícil de manejar, e, do ponto de vista acadêmico, o maior problema era ser um sistema proprietário
- Quando Lenat adoeceu e o tempo ficou curto, eles escreveram separadamente um artigo mais curto e condensado
- Em 31 de julho de 2023, foi publicado no arXiv Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc
- Reexamina o que o Cyc tentou fazer
- Condensa os elementos que deveríamos esperar de uma verdadeira inteligência artificial
- Pede uma reconciliação entre a profunda tradição de IA simbólica da qual Lenat fez parte e os LLMs modernos
1 comentários
Comentários no Hacker News
Doug às vezes era direto, mas, no fundo, era uma pessoa gentil e generosa, e sua dedicação à própria visão e às pessoas que trabalhavam com ele merecia respeito
Trabalhei na Cycorp de 2016 a 2020 e, como o escritório não era grande, eu via Doug com frequência
Certa vez, durante um almoço semanal com toda a empresa, ele disse que ia comprar um carro novo e perguntou se alguém precisava do carro antigo dele, velho mas bem cuidado; quando uma funcionária levantou a mão timidamente dizendo que a filha começaria a dirigir em breve, ele simplesmente deu o carro a ela ali mesmo
Ele também gostava de jogos de tabuleiro e participava de um grupo de D&D com o pessoal da empresa; ouvi dizer que ele sempre jogava apenas com personagens lawful good. Diziam que ele era alguém que não sabia fazer de outro jeito
Entrevistei com Doug Lenat quando eu era um estudante de ensino médio de 17 anos, fui contratado como estagiário de verão na Cycorp e consegui meu primeiro trabalho real de programação
Aquele estágio mudou minha vida, e sempre serei grato a Doug por literalmente ter dado uma chance ousada a um garoto
Doug era um cientista da computação brilhante e um pioneiro da inteligência artificial; como a Cycorp era uma empresa pequena, participei de muitas reuniões, e era evidente que ele entendia todos os detalhes da tecnologia
A Cycorp estava 30 anos à frente de seu tempo, mas na prática não funcionava; para explicar a quem não conhece, foi a primeira grande tentativa comercial de criar inteligência artificial geral, praticamente uma espécie de primeiro OpenAI
Aprendi muito com Doug sobre como ter ambições absurdamente grandes e como não desistir; vi poucas pessoas que, por décadas, continuaram segurando a Cycorp, mantendo financiamento, contratando gente excelente e empurrando o problema adiante
Também fico curioso sobre o que exatamente você fazia como estagiário de 17 anos e quais habilidades tinha
Trabalhei com Doug no Cyc por volta de 1985 a 1989. Também coincidimos no PARC, mas lá não interagimos muito
A primeira coisa que fiz foi jogar fora a implementação existente e recomeçar do zero, projetando o sistema hierárquico e todo o código de bootstrap
Foi uma época divertida com uma pequena equipe central, principalmente eu, Guha e Doug, mas, com o tempo, comecei a ficar insatisfeito com a arbitrariedade da base de conhecimento
Quando deixei o projeto Cyc por motivos pessoais, eu estava bastante negativo em relação aos fundamentos do projeto, apesar de termos uma relação próxima e de ele rodar sobre o meu código
Só com o tempo, depois de ficar mais inteligente, voltei a reconhecer seu valor; acho que na época eu via tudo demais apenas por uma perspectiva de matemática pura
Depois fui fazer outras coisas e perdi contato com Doug e Mary, o que lamento
Que Doug Lenat descanse em paz. Trabalhei na Cycorp em Austin de 2000 a 2006
Ele partiu cedo demais, mas Doug teve a oportunidade de contribuir para o avanço da pesquisa em ciência da computação nas áreas militar e de inteligência dos EUA
Algum dia, quando o rápido avanço da inteligência artificial por meio de LLMs desacelerar, a atenção voltará ao Cyc Project e à Cycorp, a seus integrantes, e ao raciocínio lógico e à representação de conhecimento que o Dr. Doug Lenat impulsionava
Porque, se a inferência por redes neurais fosse tão rápida assim, não compilaríamos programas em C para raciocínio lógico dedutivo executado eficientemente por um compilador; nós os compilaríamos para redes neurais
Pelo contrário, graças aos LLMs, eles são mais atuais do que nunca
Inteligência artificial neural e inteligência artificial simbólica acabarão se fundindo, e modelos simbólicos trazem a eficiência e a robustez necessárias por meio da normalização
Qual o sentido de tantos dados ficarem apenas juntando poeira, sem grandes resultados?
Quem está afirmando que a inferência por redes neurais é a forma mais rápida de executar todo tipo de computação?
Em vez de diminuir outra tecnologia, as redes neurais, seria melhor se concentrar em fazer métodos simbólicos resolverem problemas reais. Por exemplo, como criar um sistema robusto de detecção de spam em e-mails usando métodos simbólicos?
Se você quiser ouvir mais sobre o trabalho e as ideias de Doug, há uma entrevista bem longa que Lex Fridman fez com Doug no ano passado
https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...
Doug diz que, cerca de 5 anos depois, aprendeu que essa estimativa estava errada por uma ordem de grandeza, e que na prática era mais perto de cerca de 10 milhões
Fico curioso se há literatura ou publicações relacionadas. Pergunto-me como se sabe que não são 100 milhões, por que dá para considerar finito e por que não ocorre explosão combinatória
Claro que, para o trabalho seguir por 38 anos, deve ter havido métricas de avaliação contínuas, mas não entendo bem a lógica disso, então gostaria de referências ou links com críticas
Eu tinha ouvido falar do Cyc nos anos 1990, mas não sabia que ainda estava vivo; é impressionante terem mantido por tanto tempo
O artigo da Wikipedia também é bem bom: https://en.wikipedia.org/wiki/Cyc#Criticisms
Ainda assim, a afirmação de 1 milhão ou 10 milhões é forte para se sustentar por décadas, então fico curioso se ela foi respaldada por indicadores realmente fortes
O motivo pelo qual é divertido ler o artigo linkado é que sempre me atraiu a ideia de transformar os princípios que eles achavam que deveriam estar dentro do computador em uma estrutura externa à comunidade
Acho que seria muito útil se as pessoas pudessem explorar e colaborar em um corpus de argumentos e conclusões, discordando de partes do grafo de argumentos ou acrescentando a ele para enriquecê-lo ao longo do tempo
Assim, outras pessoas também poderiam ler e adotar o mesmo raciocínio
Estou experimentando ideias desse tipo em http://concludia.org/, no qual trabalho de vez em quando, embora por enquanto seja mais uma desculpa para mexer no conceito e aprender melhor programação em Akka(Pekko)
Algum dia pretendo adicionar contas de usuário e argumentos editáveis para transformá-lo em um site de verdade
Argumentos são ligados a evidências, conceitos são ligados a conceitos relacionados, e assim por diante
https://en.m.wikipedia.org/wiki/Zettelkasten
Acho que seria bom para brainstorming
Pensei nisso ao imaginar uma forma de fazer convergir o debate público em um país muito polarizado politicamente
Seria uma espécie de fórum público estruturado de debate, no qual as pessoas poderiam ver melhor em que ponto da hierarquia divergem e, mais importante, em quanta coisa elas de fato concordam
Sempre pensei no Cyc como uma espécie de versão em inteligência artificial do Principia de Russell e Whitehead
Tecnicamente ambicioso e interessante por si só, mas no fim com a sensação de ser uma abordagem equivocada que não funcionaria direito de forma independente, por mais tempo que se trabalhe nela e por mais regras que se continuem acrescentando
Ainda assim, acho que pode ser útil para testar e ensinar modelos de redes neurais
Na época em que Lenat começou o Cyc, não havia recursos computacionais para rodar modelos de redes neurais que exibissem o nível que hoje as pessoas chamariam de “raciocínio de senso comum”, então é totalmente compreensível que ele tenha começado por esse caminho
“Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc”
O último artigo de Lenat, publicado em 31 de julho junto com Gary Marcus
https://news.ycombinator.com/item?id=37354601
Ao ler esse artigo, duas ideias podem ficar abaladas: a ideia de que os modelos de redes neurais atuais, isto é, os LLMs, demonstram raciocínio de senso comum, e a ideia de que a abordagem representada pelo Cyc e a abordagem representada pelos LLMs são mutuamente excludentes
Ao ler o final do texto, fiquei pensando que preciso divulgar mais as coisas que crio e penso
Não sou Doug Lenat, e meu conteúdo provavelmente só vai acrescentar ruído à internet, mas, ainda assim, não devemos deixar nossas ideias morrerem conosco nem serem controladas por um conselho de partes interessadas
Não sou um fanático por open source, mas open source é uma boa forma de permitir que outras pessoas deem continuidade ao trabalho que comecei
No último ano, Gary Marcus e Doug tentaram escrever um artigo longo e complexo que acabaram nunca concluindo; o Cyc era enorme em escopo, mas sua implementação era difícil de manejar
Do ponto de vista acadêmico, o maior problema do Cyc era o fato de ser software proprietário
Para que mais pessoas entendessem, Doug tentou transmitir à próxima geração de pesquisadores as lições que aprendeu com o Cyc: o que funcionou e por quê, quando e por que falhou, o que foi difícil de implementar e o que ele gostaria de ter feito de forma diferente
Um de seus últimos e-mails foi um apelo para publicar o artigo o quanto antes e, depois de muitas idas e vindas, em 31 de julho foi publicado no arXiv Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf)
É um texto curto, mas é uma revisão do que o Cyc tentava fazer, um resumo do que deveríamos esperar de uma inteligência artificial verdadeira e um chamado à reconciliação entre a profunda tradição simbolista da qual ele fazia parte e os grandes modelos de linguagem modernos
Basta compartilhar aquilo que você considera importante
Mesmo pequenas melhorias no conhecimento, que pareçam pouco promissoras, podem ter significado. Se houver um número suficiente delas, estatisticamente podem mover o ponteiro
Claro, é preciso que o conteúdo relacionado possa ser encontrado, e isso por si só já é um grande problema
Nunca o conheci pessoalmente, mas o trabalho de Doug foi uma das minhas maiores inspirações na computação
Parece apropriado linkar um post de blog que escrevi em 2018. É um texto que resume brevemente a trajetória do trabalho de Lenat até o Cyc e reúne links para artigos
http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...
Cyc, pronunciado “Syke”, é um projeto que há muito tempo eu achava vagamente interessante, mas nunca tive tempo nem disposição para examiná-lo direito
É um projeto de inteligência artificial baseado em uma ontologia abrangente e em uma base de conhecimento
Visão geral na Wikipedia: <https://en.wikipedia.org/wiki/Cyc>
Site do projeto/empresa: <https://cyc.com/>
Foi a última grande tentativa de fazer inteligência artificial de uma forma “limpa”, e seu fracasso ajudou a dar origem à abordagem “bagunçada” de inteligência artificial que hoje tem enorme sucesso
Esse fracasso não diminui Doug. Alguém precisava tentar, e é bom que tenha sido uma das pessoas mais inteligentes
Acho que ele continuou preso à ideia por muito tempo depois de ter ficado claro que ela não funcionaria, mas avanços decisivos realmente acontecem
O próprio boom atual de machine learning é a retomada de técnicas que já tinham sido abandonadas, e as pessoas que continuaram insistindo nelas descobriram o jeito de fazê-las funcionar
Alguns anos atrás, trabalhei com uma consultoria que queria entrar em inteligência artificial, e ela escolheu o Cyc como plataforma para vender principalmente a clientes do setor financeiro
Mas não parece que nenhum projeto real sequer tenha começado, e também não havia uma visão clara do que poderia ser vendido
Não quero pensar em Lenat como um charlatão. Ele parecia uma pessoa sincera e brilhante
Só que, na minha visão, o Cyc foi vendido com um hype enorme apesar de quase não ter conseguido realizar nada útil. O site é cheio de linguagem técnica, mas, depois de 40 anos de negócio, não há um único estudo de caso