Obituário do Cyc

• Cyc é um projeto de AGI baseado em uma base de conhecimento de senso comum iniciado por Douglas Lenat em 1984; mesmo com 30 milhões de asserções, US$ 200 milhões e 2.000 pessoas-ano, não deixou evidências de ter alcançado inteligência geral
• Lenat acreditava que AM e EURISKO esgotavam suas heurísticas iniciais, e tentou fazer a knowledge pump funcionar inserindo primeiro, manualmente, milhões de fatos e regras de senso comum
• O Cyc contava com CycL, microtheories, cerca de 1.100 motores de inferência e parsing limitado de linguagem natural, mas não chegou ao estágio de ler texto em linguagem natural e aprender de forma autônoma
• As aplicações governamentais e comerciais publicamente verificáveis incluem Terrorism Knowledge Base, casos da Cleveland Clinic, segurança de redes e integração de dados, sem diferir muito de sistemas especialistas e métodos de recuperação de informação já existentes
• A Cycorp obteve estabilidade financeira de longo prazo e alguns resultados comerciais, mas, devido ao caráter fechado, à ausência de benchmarks e ao fim do OpenCyc, sua influência na pesquisa externa em IA e na busca de conhecimento foi limitada

---

Avaliação central do Cyc

• O Cyc foi um projeto de AGI baseada em IA simbólica perseguido por Douglas Lenat ao longo de 40 anos
  • O objetivo era codificar em larga escala o conhecimento de senso comum humano em uma linguagem lógica e criar um sistema capaz de realizar inferência e aprendizado sobre essa base
  • O projeto cresceu até cerca de 30 milhões de asserções, US$ 200 milhões e 2.000 pessoas-ano
• A ruptura que Lenat previu repetidas vezes nunca apareceu
  • Em 2016, Lenat disse que o Cyc estava perto de estar “done”, mas não havia sinais de aprendizado autônomo nem evidências de AGI
  • Considerando 2025, mesmo partindo da premissa de que a knowledge pump havia sido primed por 9 anos, não há indícios de que tenha alcançado inteligência geral
• Materiais adicionais de arquivo relacionados ao Cyc estão disponíveis em cyc-archive

A lógica que levou de AM e EURISKO ao Cyc

• O ponto de partida de Lenat foi Automated Mathematician(AM), projeto de sua tese de doutorado de 1976
  • O AM teria começado com 115 conceitos de teoria dos conjuntos e cerca de 250 regras heurísticas, e redescoberto números naturais, números primos, a conjectura de Goldbach etc.
  • Porém, o AM não conseguia criar novas heurísticas e mostrava a limitação de “die of boredom” quando esgotava as heurísticas iniciais
• O sistema sucessor EURISKO foi uma tentativa de fazê-lo descobrir as próprias heurísticas
  • Venceu em 1981 e 1982 o torneio The Trillion Credit Squadron, de Traveller, com projetos de frotas não convencionais
  • Segundo estimativa de Lenat, o EURISKO final executou um total de 1.300 CPU-hours em uma Xerox 1100 Lisp machine, e a vitória em Traveller foi “60/40% Lenat/EURISKO”
• O EURISKO também acabou não escapando do autoesgotamento
  • A autodescoberta de regras heurísticas dependia de regras meta-heurísticas, e essas meta-heurísticas também perdiam força após alguns usos
  • Lenat concluiu que, para continuar criando novas analogias e ideias como humanos, era necessário um vasto conhecimento de senso comum

O design do Cyc e a knowledge pump

• O Cyc começou em 1984 dentro da MCC e depois continuou como Cycorp Inc.
  • O plano inicial era codificar manualmente 400 artigos de enciclopédia entre 1985 e 1988, codificar 30.000 artigos entre 1988 e 1993 e então usar isso em problemas de IA e aplicações comerciais
  • A estimativa inicial era de que as fases 1 e 2 exigiriam 150 pessoas-ano
• O foco do projeto mudou de codificar literalmente a “tinta preta” da enciclopédia para codificar o white space que a enciclopédia pressupõe, mas não escreve — isto é, o senso comum
  • O problema era que, para entender frases como “Napoleon died in 1821. Wellington was greatly saddened.”, era necessário senso comum sobre morte, tempo, guerra, França e emoções humanas
• A metáfora da knowledge pump de Lenat tornou-se a estratégia central do Cyc
  • No início, pessoas spoon-feed o conhecimento diretamente
  • À medida que o conhecimento aumentasse, esperava-se que frases em linguagem natural fossem parseadas melhor para lógica e que a intervenção de ontologists diminuísse
  • Depois de certo ponto, esperava-se que o Cyc lesse textos, conversasse com pessoas e continuasse a ampliar seu conhecimento por conta própria

CycL, microtheory e estrutura de inferência

• Os principais componentes do Cyc são CycL, a base de conhecimento e os motores de inferência
  • CycL é baseado em SubLisp e tem uma Epistemological Level(EL), linguagem de alto nível legível e escrevível por humanos, e uma tradução para Heuristic Level(HL), voltada à eficiência da inferência
  • Uma sentença EL pode ser traduzida para várias sentenças HL e processada por diferentes motores de inferência
• Expressões em CycL usam uma forma parecida com Lisp: (#$relation <arg1> … <argn>)
  • Se #$relation for uma função, é um termo; se for um predicado, é uma assertion ou sentence
  • Relações especiais como #$implies, #$forAll e #$thereExists são usadas como regras de inferência
• O Cyc empacota assertions em microtheory(Mt) ou contextos
  • “Socrates is alive” pode ser verdadeiro no contexto de 500 BC, mas não no contexto de 1995
  • Crenças mutuamente incompatíveis podem ser colocadas em contextos diferentes, como #$ChristianMt e #$IslamMt
  • Em 2010, o Cyc tinha mais de 20.000 microtheories organizadas em uma hierarquia, algumas com profundidade de 50 níveis
• Os motores de inferência cresceram para cerca de 1.100
  • Como o motor geral de inferência era lento demais, módulos heurísticos especializados em padrões e microtheories específicos continuaram sendo adicionados
  • Segundo Lenat et al. 2007, foi relatada uma estrutura com 1 strategist, 4 tacticians e 1.097 workers
  • Em 2010, foi explicado que desligar o motor de inferência mais geral era mais rápido, então ele foi totalmente desativado

O gargalo deixado pela compreensão de linguagem natural

• O problema de transformar CycL em linguagem natural estava em grande parte configurado desde o fim dos anos 1990
  • (#$genls #$Dog #$Mammal) pode ser convertido em “Dogs are mammals.”
  • Concepts de palavras e assertions de denotation conectam English words a conceitos do Cyc
• No sentido inverso, o problema English → CycL, de fazer parsing de linguagem natural para CycL, continuou difícil
  • O NLP do Cyc usa um sistema em camadas com keyword matching, extraction templates, syntax templates e parsing completo de syntax tree
  • O dicionário inclui cerca de 200.000 words and phrases e ainda mais assertions
• Os exemplos públicos de English → CycL são muito poucos e próximos de frases fáceis
  • “A girl is on a white lounge chair”
  • “Bill Clinton sleeps.”
  • “An AI researcher is a kind of computer scientist.”
  • “Did you touch a blue object located in the capital of France on September 25th, 2022?”
• Mesmo no último trabalho conjunto de Lenat e Gary Marcus, o gargalo final continuou sendo a compreensão de linguagem natural(NLU)
  • Cada axioma entra na base de conhecimento após verificação humana quanto a default correctness, generality e posicionamento em microtheory
  • O Cyc consegue ler a interlíngua CycL, mas parsear English para CycL continuou sendo difícil

Aplicações públicas e uso comercial

• A Cycorp operou por muito tempo atendendo clientes militares, de agências de inteligência e comerciais
  • Até 2002, o custo total era de US$ 60 milhões, dos quais US$ 25 milhões vinham das Forças Armadas
  • Segundo uma citação de 2005, desde o primeiro grande contrato governamental em 1996, cerca de metade da receita da Cycorp vinha de órgãos do governo dos EUA e o restante de empresas
• Casos de aplicação publicamente relativamente detalhados incluem a Terrorism Knowledge Base(TKB) e o caso da Cleveland Clinic
  • A TKB foi criada em 2004 e encerrada em 2008
  • Incluía mais de 2.000 terroristas, mais de 700 grupos terroristas, mais de 6.500 ataques terroristas e mais de 200.000 assertions
  • O usuário digitava consultas em inglês formal e, quando o Cyc sugeria trechos em CycL, o usuário os selecionava para montar uma consulta completa
• O Semantic Research Assistant(SRA) da Cleveland Clinic é verificável entre 2007 e 2010
  • Era um sistema que respondia a consultas relacionadas a cardiothoracic surgery, cardiac catheterization e percutaneous coronary intervention
  • O projeto sucessor SemanticDB, de 2012, incluía um banco de dados com 120 milhões de semantic triples e consultas SPARQL
  • Em uma apresentação de 2019, Lenat disse que o projeto da Cleveland exigiu 120.000 novas assertions, o que correspondia a 0,5% de toda a base de conhecimento
• Outros casos confirmados incluem segurança de redes, integração de dados, tesauros de termos médicos e farmacêuticos, detecção de insider trading, análise de causas de rendimento na manufatura, suporte de TI e gestão de estoque, e previsão de falhas em instalações de bombas de petróleo
  • Esses usos se aproximam dos métodos padrão de expert systems, data integration e information retrieval

OpenCyc, Semantic Web e projetos derivados

• Em 2001, a Cycorp lançou OpenCyc, um pequeno subset do Cyc
  • O OpenCyc deveria ficar 24 a 30 meses atrás do Cyc real
  • A última versão saiu em 2012, e ele parece ter sido encerrado por volta de março de 2017 sem divulgação separada
• Também existiu o ResearchCyc, mas seu uso era limitado a fins de pesquisa e ele foi encerrado por volta de 2019 sem aviso
• A Cycorp também participou de iniciativas da Semantic Web nos anos 2000
  • Houve artigos tentando integrar o conhecimento do Cyc com DAML, RDF, OWL, XML etc.
  • Tentativas como Standard Upper Ontology Working Group, The Cyc Foundation, FACTory, OpenCyc for the Semantic Web e LarKC terminaram sem sucesso notável
• Entre 2014 e 2016, houve um “massive extinction event” em que a maior parte das informações abertas sobre o Cyc desapareceu da internet
  • OpenCyc, tutorials, references, vocabulary lists e The Ontological Engineer’s Handbook version 0.7 desapareceram
  • Isso coincidiu com o período de transição para commercial applications em 2016

Fechamento e avaliação externa

• O projeto Cyc era muito fechado para padrões acadêmicos
  • As publicações relacionadas ao Cyc tratavam principalmente de como inserir conhecimento no Cyc, e raramente de aplicações que saíam do Cyc
  • O funcionamento dos motores de inferência e os detalhes de commercial applications quase não foram divulgados
• O código-fonte do AM e do EURISKO também não foi publicado
  • Lenat frequentemente afirmava que o código havia desaparecido havia muito tempo, mas ele foi encontrado recentemente na pasta DBL dos dados de backup do Stanford AI Laboratory
  • Permanece em aberto a dúvida sobre se Lenat tentou proteger o código
• O uso do Cyc em pesquisas externas foi muito limitado
  • O Cyc quase não foi usado em pesquisa de IA nem em knowledge retrieval, e nunca demonstrou desempenho em benchmarks públicos
  • Davis and Marcus 2015 consideraram muito difícil que pessoas externas julgassem o nível de realização do Cyc
  • Davis 2016 avaliou que a comunidade de IA em geral via o Cyc como um “fracasso muito sofisticado”

A filosofia de IA de Lenat e críticas recorrentes

• Lenat manteve uma única filosofia de IA por 40 anos
  • Ela se centrava no Knowledge Principle, segundo o qual inteligência de alto nível vem do conhecimento que o sistema pode usar
  • Conhecimento inclui conceitos, fatos, representações, métodos, modelos, metáforas e heurísticas
• Ele rejeitou explicitamente vários caminhos alternativos
  • A logical AI ao estilo de Simon e Newell não funcionaria além de problemas de brinquedo
  • Physical embodiment ou robotics não seriam essenciais para AGI, e o “mystical worship of physical embodiment” atrasaria a AGI
  • Genetic algorithms e evolutionary algorithms ficariam presos em local minima e seriam lentos
  • Statistical machine learning, neural networks e métodos de self-organization foram criticados como tentativas de “free lunch” sem uma grande base inicial de conhecimento
• Lenat repetiu a mesma lógica mesmo na era de deep learning e LLMs
  • Neural networks apenas “remembering and espousing”, não “understanding and inferring”
  • O Cyc poderia ser combinado como o “left brain” e as neural networks como o “right brain”
  • Seu último artigo, Lenat and Marcus 2023, criticou a busca por free lunch, incluindo LLMs, e enfatizou a necessidade de symbolic representation and reasoning

O interior da Cycorp e conclusões práticas

• A Cycorp obteve uma estabilidade financeira de longo prazo rara para uma pequena empresa de tecnologia
  • Repete-se a descrição de que ela era lucrativa desde a fundação, sem dívidas e de propriedade dos funcionários
  • O número de funcionários é apresentado como algo em torno de 50 a 200 pessoas
• Comentários de ex-Cyclists no Hacker News mostram tanto pontos positivos quanto negativos
  • Do lado positivo, mencionam-se uma cultura intelectual e filosófica, a solução de problemas técnicos de large scale inference, lucratividade e algumas aplicações comerciais bem-sucedidas
  • Do lado negativo, apontam-se 30 anos de dívida técnica, implementações duplicadas, fechamento, true believer mentality e soluções técnicas e aplicações comerciais que não são divulgadas externamente
• Alguns ex-funcionários consideravam pouco claro se o Cyc realmente fazia common sense reasoning ou se era uma base particularmente boa para desenvolver expert systems
  • Também era incerto se common sense reasoning era de fato necessário para os projetos comerciais bem-sucedidos
  • Em muitos projetos, também havia a avaliação de que era difícil apontar exatamente onde a “IA” acontecia
• No fim, o Cyc ficou mais parecido com a última grande empresa sobrevivente de large expert system do que com um projeto de AGI
  • Reconhece-se a possibilidade de que a Cycorp tenha se diferenciado em niche expert systems que exigiam bons knowledge engineers, SubLisp e higher-order statements
  • Porém, não foram apresentadas evidências de que essa diferenciação fosse um caminho para AGI

[GN⁺]

Opiniões no Hacker News

• Tive a ideia engraçada de que isso parece uma frase escrita por uma IA senciente dizendo: “Não há nada para ver aqui, parem de olhar e sigam em frente”
  Assim como vannevar, eu não sentia que o Cyc estivesse indo em uma direção útil; havia ideias, mas elas não pareciam coesas o suficiente para servir de base a uma hipótese confiável sobre como construir um sistema capaz de implementá-las
  Fiquei bastante impressionado com a demonstração do mundo dos blocos de McCarthy e, depois, ele e um aluno formalizaram algumas das regras que criam o contexto (context) no qual a IA opera; acho que isso continua importante para resolver a confusão que os LLMs produzem
  Por exemplo, aquela falha inicial em que um LLM dizia para colocar pedras na salada para deixá-la crocante foi uma falha clássica de contexto, resultado da mistura de dados do contexto de “humor” com dados do contexto de “receitas”. Como os modelos existentes não têm contexto durante o treinamento, não há dentro do modelo um componente que ajuste a saída de acordo com o contexto, e no fim acabam entrando pedras na salada
  https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...

  • O critério de “ainda não há evidência de inteligência geral” parece uma barreira bem alta
    Todos sabem que a IA simbólica não escalou tanto quanto os LLMs treinados com grandes volumes de dados, mas também é verdade que ela tentou lidar com vários problemas nos quais os LLMs ainda não são muito bons

• É um texto realmente excelente, um dos melhores que vi no HN este ano
  Conheci o Cyc pela primeira vez quando era criança, em um documentário sobre IA, e havia o exemplo de um homem se barbeando com um barbeador elétrico. O Cyc concluiu que o homem que estava se barbeando não era humano, porque o barbeador era um dispositivo elétrico, e dispositivos elétricos não são humanos
  Para uma criança, aquilo estimulou muito a imaginação e me fez querer estudar IA; mais tarde, quando descobri que o Cyc funcionava com relações no estilo Prolog, a sensação de magia diminuiu um pouco. No fim acabei estudando ciência da computação em vez de IA, mas ainda acho que quem acendeu meu primeiro interesse foi o Cyc
  Lenat parecia uma pessoa estranha, mas para atravessar vários invernos da IA é preciso gente assim, verdadeiros crentes obsessivos. Não se sabe se, no processo de eliminar alucinações do aprendizado estatístico, grafos de conhecimento como o Cyc voltarão a ser importantes no futuro

  • Lembro que esse mesmo exemplo reacendeu meu interesse por IA no passado
    Intuitivamente, acho que há algo nessa abordagem que é necessário para fazer a IA generativa funcionar de forma estável. O cérebro tem capacidade associativa, mas isso não é muito útil sem filtros que separem sinal de bobagem e permitam entender o conteúdo
    Fico curioso se o Cyc algum dia chegou a conseguir gerar conteúdo por conta própria de uma forma significativa. Um sistema assim acabaria derivando muitos detalhes sozinho, e seria preciso alimentá-lo cada vez menos na mão
  • Acho difícil entender bem essa frase; me parece que deveria haver vírgulas antes e depois de “enquanto estava se barbeando”
  • Não é “parece uma pessoa estranha”, e sim “parecia”
    Infelizmente, ele faleceu há alguns anos, e lamento só ter descoberto isso agora

• É um texto muito interessante e que vale a leitura, bem melhor do que o tom dos comentários aqui
  Ainda assim, acho um pouco lamentável o autor dar tanto peso à premissa de que o projeto fracassou. O fato de terem sido necessários 40 anos para encontrar uma solução não significa simplesmente que a abordagem foi um fracasso
  As redes neurais também levaram mais de 40 anos para se tornar realmente úteis e custaram bastante, mas nem por isso as chamamos de um projeto fracassado. Mesmo hoje, ainda é difícil dizer que os LLMs sejam tão inteligentes assim
  Se algum dia a base de conhecimento da Cycorp for aberta ao público e puder ser usada no treinamento de LLMs, talvez o valor maior desses dados fique evidente

  • É mais provável que a base de conhecimento da Cycorp se torne cada vez menos importante à medida que alternativas abertas forem desenvolvidas, em vez de ela própria ser aberta
    No lado da Wikipedia, estão criando algo como uma interlíngua aberta, editável por humanos, para desenvolvimento, com a qual pretendem preencher Wikipedias em idiomas sub-representados com frases enciclopédicas básicas. Muitos detalhes ainda estão indefinidos, mas dá para ver https://en.wikipedia.org/wiki/Abstract_Wikipedia e https://meta.wikimedia.org/wiki/Abstract_Wikipedia
    Isso pode chegar a um nível parecido com o sistema pressuposto no texto, capaz de gerar textos em inglês e japonês quando recebe o “senso comum” adequado. Não está claro exatamente quão útil seria o raciocínio lógico sobre essas frases, mas, se isso tiver valor real, essa possibilidade certamente existe
  • A tese de doutorado da minha filha foi, em grande parte, um resultado negativo. Mesmo que o projeto tivesse fracassado, se não tivesse sido tão secreto, teria sido possível aprender com ele. Mesmo sem ser open source, poderia ter sido muito mais aberto
  • Acho que esperar a OpenAI se abrir seria mais rápido do que esperar a Cycorp ser aberta :)
    Para comparar com “redes neurais”, o correto seria comparar com a IA simbólica em sentido amplo. A IA simbólica funcionou razoavelmente bem em algumas áreas, mas de forma alguma em áreas próximas de raciocínio de senso comum ou AGI
    Se mantivermos o objeto de comparação como “Cyc”, acho que a comparação em si é impossível. Sem exagero, antes de 2020 não havia projeto de IA tão caro quanto o Cyc. Os custos começaram a passar de um milhão de dólares por volta do GPT-2, e AlphaGo e Deep Blue também podem ter custado milhões de dólares, embora não haja números exatos; pelo menos funcionavam de forma clara
    Também não é correto dizer que levou 40 anos. Por exemplo, o LeNet-5 já funcionava em 1998 e era usado para ler cheques reais em caixas eletrônicos. O principal custo foi a persistência de engenharia do grupo de pesquisa de LeCun no Bell Labs ao longo de 10 anos, e a versão final levava 2 a 3 dias de tempo de CPU em um servidor Silicon Graphics Origin 2000 com um único processador R10000 de 200 MHz para treinar por “cerca de 20 epochs” no MNIST
    1998 pode ser tecnicamente algo como 40 anos desde o início dos perceptrons nos anos 1950, mas, se esse critério for aplicado às redes neurais, o Cyc também deve ser contado a partir do início da IA lógica nos anos 1950. E também fica a pergunta: em 1998, para que o Cyc servia na indústria?

• Segundo o site, a Cyc está indo muito bem. Diz ser “The Next Generation of Enterprise AI”
  O próprio Lenat morreu em 2023, mas, na leadership team, ele aparece como o único integrante
  https://cyc.com/

  • Parece um epitáfio triste
    Mesmo que ele só tenha provado que era impossível, sou realmente grato pelo fato de ele ter tentado
  • Talvez a Cyc tenha dado certo, e Lenat continue vivo naquela consciência

• Dá para rodar a versão do OpenCyc que chegou a ser publicada online: https://github.com/asanchez75/opencyc
  Esse material é da época em que uma versão do sistema foi colocada no SourceForge, e no GitHub há o dataset, a base de conhecimento e o motor de inferência. Só vale notar que foi escrito para uma versão antiga de Java

• Muito tempo atrás, tentei ler o máximo possível do material que dava para encontrar sobre AM e EURISKO
  Infelizmente, Lenat manteve seu trabalho de forma muito privada, quase secreta, e havia muito pouco para ler além de artigos e papers de alto nível. Por isso, outras pessoas não puderam construir algo em cima do que Lenat criou, e considero isso uma grande perda

  • Hoje em dia dá para executar o EURISKO diretamente

• Este texto é uma análise bem boa não só da Cyc, mas da IA simbólica em geral
  Eu mexi bastante com OpenCyc no passado, mas não toquei nisso nos últimos 10 anos
  Se a IA simbólica tiver um futuro produtivo, acho que será usando LLMs para construir grafos de conhecimento, relações simbólicas etc. a partir de dados não estruturados

  • Como “análise de IA simbólica”, achei informativo de menos e superficial, e soou como uma repetição do velho argumento de que a IA simbólica “fracassou”
    Essa afirmação não bate com os fatos. Grandes áreas de IA simbólica, como resolução de SAT, prova automática de teoremas e planejamento/escalonamento, continuam muito vivas e produziram resultados reais. Na verdade, resolução de SAT, planejamento, verificação de programas e prova automática de teoremas hoje funcionam tão bem que nem são mais tratadas como “IA”
  • Pode ser algo em que os LLMs usem esses grafos para verificar as próprias respostas. Em algum momento isso será internalizado na arquitetura, em algo como camadas de atenção em grafos

• Acho que Lenat estava no caminho certo ao menos no ponto de que a escala esmagadora dos dados acabaria sendo a chave para obter uma inteligência útil
  No passado, critiquei o projeto Cyc dizendo que ele estava produzindo uma pilha cada vez maior de esterco e esperando que dali saísse um pônei; com os LLMs, de certa forma, foi mais ou menos isso que acabou acontecendo

  • Acho que um dia o pêndulo vai voltar para o outro lado, e a abordagem simbólica terá algum avanço e voltará à moda
    Provavelmente isso terá relação com acelerar esse tipo de sistema em hardware para processar quantidades enormes de fatos, assim como as GPUs fizeram pelas redes neurais
  • Mas a pilha de dados de treinamento dos LLMs é muito maior
    Esses dados são falas humanas reais em contextos reais; não são esterco de pônei, são o pônei
    LLMs não têm inteligência. Eles apenas fazem pattern matching de inúmeras falas humanas em resposta a consultas e canalizam a inteligência dessas pessoas. Ficou provado que são úteis porque o aparato estatístico funciona extremamente bem, mas o fato de LLMs não terem estado cognitivo limita bastante até onde essa tecnologia pode chegar
    Já no caso da Cyc, nem está claro o que se poderia obter. Talvez seja útil combinada com LLMs, mas continua trancada a sete chaves
    As grandes conclusões que o autor tira sobre IA simbólica com base nesse único sistema e nessa abordagem não se justificam. O próprio autor escreveu que “mesmo Ernest Davis e Gary Marcus, muito favoráveis à abordagem simbólica de IA, encontraram pouca evidência do sucesso da Cyc, não porque a Cyc tenha fracassado de forma demonstrável, mas porque havia evidências de menos em qualquer direção, sucesso ou fracasso”
  • É engraçado que o nome do dataset de muitos LLMs seja literalmente “The Pile”
  • Ainda assim, pelo menos o Llama parece ter sido treinado com o libgen, um arquivo que reúne a maior parte dos livros e publicações da humanidade. As coisas que não foram digitalizadas devem ter ficado de fora
    Comentários do Reddit, mensagens do Twitter, libgen e PDFs do arXiv devem ter entrado nessa grande pilha
    Então certamente há esterco ali, mas também há conhecimento cuidadosamente codificado, ou seja, textos; e é realmente milagroso que os LLMs acertem com tanta frequência
  • https://ai-2027.com/ presume que um LLM bom o bastante use regras e fatos para reescrever a si mesmo
    Parece ficção científica, mas conversar com multiplicação de matrizes também é coisa de ficção científica

• Como fracasso semelhante da GOFAI, há a enorme tentativa de décadas da empresa russa ABBYY de criar software avançado de tradução usando apenas parsing de gramáticas formais complexas. A ABBYY foi por muito tempo líder no mercado de software de OCR
  A história de bastidores é bem interessante, e este texto foi escrito por alguém que trabalhou na ABBYY: https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proi...
  O texto está em russo, mas, ironicamente, dá para lê-lo em bom inglês usando o Google Translate do Chrome ou algo do tipo. E esse recurso, é claro, é inteiramente baseado em machine learning
  A história é essencialmente parecida com a da Cyc. IA simbólica, IA lógica e GOFAI conseguem produzir resultados iniciais impressionantes, e a ABBYY também era muito melhor que o Google Translate inicial, mas a abordagem simbólica não escala bem. No fim, big data + machine learning vence
  O texto acima trata de “The Unreasonable Effectiveness of Data”, de 2009, em que o Google apresentou essa tese: https://static.googleusercontent.com/media/research.google.c...
  É importante notar que 2009 foi muito antes dos modelos de linguagem de grande escala, dos transformers e até mesmo do AlexNet

• Há cerca de 1 ano, também houve uma grande thread sobre o Cyc: https://news.ycombinator.com/item?id=40069298