Entrevista com o autor anônimo Gwern, que previu a trajetória da IA vivendo com US$ 12 mil por ano
(dwarkeshpatel.com)- O pesquisador e escritor anônimo da internet Gwern Branwen é apresentado como alguém que aderiu cedo à tendência de scaling de LLMs, algo que muitos comentaristas de IA deixaram passar por volta de 2020
- Ele vê a anonimidade como algo que vai além de evitar retaliações: ela cria ao menos uma chance de ser lido, porque impede que o leitor encaixe imediatamente o autor em uma identidade específica ou em um niche e o descarte de saída
- Ele considera que a automação corporativa sofre uma forte pressão bottom-up, subindo das tarefas inferiores para cima, em vez de descer a partir do CEO, e que uma estrutura em que executivos humanos cuidem das escolhas de longo prazo de uma organização de IA é mais realista
- Gwern vê a inteligência como uma busca por máquinas de Turing e enfatiza o poder de compute, dados e tentativa e erro por meio de GPT-1, GPT-2, GPT-3, do artigo de scaling laws da Baidu de 2017, do AlphaZero e do BigGAN
- Sob a hipótese de que a AGI chegue em poucos anos, torna-se importante, mais do que concluir pessoalmente cada projeto, registrar coisas que a IA não pode decidir por você, como preferências, desejos, avaliação e julgamento, para deixá-las como material para execução futura
Anonimidade, avatar e organizações automatizadas
- A entrevista foi gravada presencialmente, mas um avatar foi usado para proteger a anonimidade de Gwern
- O rosto e a voz no vídeo não são reais; apenas a fala é de Gwern
- Uma vantagem subestimada da anonimidade é dificultar que o leitor coloque o autor em uma identidade específica ou niche e o descarte de antemão
- Há também o efeito de evitar retaliações, mas Gwern considera mais importante o fato de não ser excluído imediatamente pelo contexto e de ganhar ao menos a chance de ser lido
- Ele também considera um benefício ter evitado que enviassem heroína para sua casa ou que fizessem denúncias falsas à SWAT
- Ele considera que, na automação empresarial, a pressão bottom-up que sobe dos trabalhadores e das tarefas mais baixas será mais forte do que um modelo top-down em que a substituição começa pelo CEO
- Em organizações existentes, tende a ser mais fácil aceitar a substituição dos cargos da base e a subida gradual desse processo
- No fim, ele imagina uma forma em que executivos humanos supervisionem empresas compostas por IAs
- Na perspectiva do aprendizado por reforço, os humanos talvez ainda sejam melhores do que a IA em visão de longo prazo, novas estratégias de longo prazo e identificação de oportunidades
- É possível uma estrutura em que um CEO humano define a visão, uma organização de IA cuida das propostas e da execução, e o CEO humano escolhe entre elas
- Ele considera que esse tipo de empresa liderada por humanos pode fazer escolhas melhores no longo prazo do que uma empresa composta inteiramente por IA
- Gwern vê que, no próprio trabalho, o papel humano que permanecerá até o fim também será algo próximo de uma escolha à la Steve Jobs
- Ele imagina IAs minions trazendo ensaios, enquanto ele escolhe quais textos são melhores e julga em que direção insistir mais
Organizações de IA e unidades de seleção
- Em uma empresa composta por IA, a unidade de seleção pode ser maior do que um modelo individual: algo como um “pacote de mentes” ou uma unidade de departamento
- Se for possível copiar perfeitamente modelos individuais, a unidade de seleção sobe para um nível mais alto
- Mentes individuais podem ser treinadas de forma diferenciável, mas as interações entre mentes são difíceis de treinar diretamente
- Pode haver grupos de modelos que funcionem bem em conjunto mesmo sem que isso se reduza a um elemento específico de interação
- O exemplo é uma unidade de departamento com tipos como programmer, manager, secretary, financial e legal
- Quando for necessário um novo unit, seria possível copiar um pacote básico, aplicar mutações aleatórias em cada componente e então preservar os pacotes com melhor desempenho
Genealogia da Singularity e teoria da inteligência
- Sobre desde quando seria possível prever a Singularity, Gwern acha que é preciso voltar pelo menos até Erewhon, de Samuel Butler, em 1872, ou ao ensaio de 1863 “Darwin among the Machines”
- Em 1863, Butler escreveu explicitamente uma visão em que a vida mecânica se desenvolve cada vez mais, ganha autonomia e acaba se tornando uma ameaça à humanidade
- Butler conclui sobre as máquinas que “war to the death should be instantly proclaimed against them”
- Gwern diz não ter certeza sobre um cenário de Singularity mais claro antes de 1863
- Diz-se que Isaac Newton explicava as invenções e o progresso de sua época não como uma aceleração tecnológica real, mas como um fenômeno em que civilizações são destruídas a cada alguns milhares de anos e depois redescobrem o conhecimento do passado
- Dwarkesh vê isso não como um paradoxo de Fermi sobre civilizações alienígenas no espaço, mas como uma espécie de paradoxo de Fermi entre civilizações diferentes no tempo
- Gwern afirma que Lucrécio também usou uma lógica semelhante ao observar a inovação e a erudição de Roma cerca de 1.700 anos antes
- A teoria da inteligência de Gwern é uma “busca sobre máquinas de Turing”
- Tudo o que acontece pode ser descrito como máquinas de Turing de vários comprimentos
- Aprendizado ou scaling é o processo de explorar mais máquinas de Turing, e mais longas, e aplicá-las a casos específicos
- Ele entende que não existe um master algorithm geral nem algum fluido especial de inteligência; o que existe é aprender um enorme número de casos especiais e codificá-los no cérebro
- Ele também vê as diferenças de inteligência humana como diferenças em explorar mais máquinas de Turing por mais tempo com mais compute
- Diz que provavelmente não existe no cérebro uma parte equivalente a uma “glândula de QI” responsável pela fluid intelligence
- O cérebro aprende muitos problemas especiais individuais, que depois se recombinam e passam a parecer fluid intelligence
- Um grande modelo de rede neural pode ser visto como um enorme ensemble de small models ajustados para muitos problemas pequenos
- O motivo de a inteligência geral em nível humano ter demorado a evoluir seria que, para muitos organismos, mecanismos ajustados a problemas específicos podem ser mais adaptativos do que uma inteligência de propósito geral
- Com evolução suficiente, pequenas máquinas de Turing podem ser codificadas de forma mais direta pelos genes
- Em niches estáticos, em niches onde a inteligência é muito cara, ou em organismos com vida curta e pouco tempo para aprender, mecanismos voltados a problemas específicos podem ser melhores do que o aprendizado no estilo humano
Como ele adotou cedo a visão de scaling
- A visão de scaling de Gwern começou ao ler Moravec e Ray Kurzweil em meados dos anos 2000
- Segundo ele, os dois defendiam uma tese conexionista de que, com compute suficiente, isso poderia levar à descoberta de uma neural network architecture adequada ao cérebro humano
- Na época, Gwern via isso como algo parecido com “magical thinking” e era cético, por achar que algoritmos são complexos e exigem insights profundos ou matemática difícil
- Interessado em LessWrong, transhumanism e AI risk, ele acompanhou os textos de Shane Legg e entrou em contato com as previsões de Legg
- Segundo Gwern, Legg previa que, se a Moore’s Law continuasse, haveria o primeiro generalist system por volta de 2019, humanish agents com generalist capabilities por volta de 2025 e AGI por volta de 2030
- Depois de DanNet e AlexNet, Gwern viu exemplos impressionantes do sucesso do connectionism
- Ele passou a observar se aquilo era um sucesso isolado ou parte da linha de Kurzweil, Moravec e Legg de que, com GPUs, surgiriam algoritmos melhores
- Continuando a ler a literatura de deep learning, viu dataset size, model size e uso de GPU crescerem, enquanto o alcance das neural networks se expandia de use cases estreitos para casos cada vez mais amplos
- Ao ver no arXiv o fluxo de CNNs sendo aplicadas todos os dias a problemas diferentes, passou a se inclinar para a ideia de que “inteligência pode ser aplicar muito compute, data e parameters”
- A família GPT foi um ponto decisivo para mudar seu julgamento
- O unsupervised sentiment neuron do GPT-1 o surpreendeu por mostrar que o modelo aprendia sozinho
- O prompting e a summarization do GPT-2 lhe deram fortemente a sensação de que vivemos em um mundo de scaling
- Ele via o GPT-3 como um grande scale-up do GPT-2 e, em vez de um task estreito como Go, como um teste importante para medir a validade do scaling
- Ao ver o chart de few-shot learning no início do paper do GPT-3, concluiu que “we are living in the scaling world”
- Por volta de 2020, ele vê dois motivos para muitos comentaristas de AI terem ignorado LLMs, GPT-3 e scaling laws
- Não acompanharam suficientemente os resultados anteriores de scaling e não conseguiram avaliar retrospectivamente quais resultados eram importantes
- Compartilhavam a crença de que algoritmos são mais importantes do que compute
- Gwern considera que compute vem primeiro porque possibilita trial and error e serendipity
- Pequenas diferenças de hyperparameters ou escolhas de architecture podem mudar muito o resultado, mas, se só for possível tentar poucas vezes, é fácil concluir que algo não funciona e desistir
- Com muito compute, é possível continuar tentando até encontrar uma solução que funcione bem e depois transformá-la em uma robust solution por meio de simplificação, melhoria e investigação das causas
- Ele acredita que já havia ideias modernas na literatura antiga de deep learning, mas faltava compute para torná-las realmente utilizáveis
- Explica que o ResNet foi publicado e funcionava já em 1988, mas, por ser pequeno demais, não tinha utilidade prática e foi esquecido, só aparecendo em 2015 como uma revolução do deep learning
- Também considera que o caso do BigGAN escalando até 300 million images foi um resultado que as pessoas não observaram o suficiente
Projetos e escrita na era da AGI
- Entre 2005 e 2010, o timeline de AGI de Gwern parecia muito distante, algo como depois de 2050
- Depois de AlexNet e DanNet, ele descreve esse timeline como encurtando no ritmo de dois anos por ano
- Ele considera que o deep learning continuou superando barreiras e que, enquanto paradigmas alternativos não iam bem, esse paradigma foi muito bem
- Após AlphaGo, ele acha que algumas pessoas atualizaram demais suas crenças por causa do hype de AI
- Quando grandes tentativas de reinforcement learning depois de Dota não funcionaram bem em problemas difíceis fora de universos de jogos simulados, Gwern também achou que tinha se adiantado demais
- Depois do surgimento do GPT, apagou esse julgamento e passou a ver RL como a cherry no cake de um generative model
- Se você leva a sério que a AGI pode chegar em poucos anos, não é necessário implementar pessoalmente todos os projetos
- Ele faz agora o que quer fazer ou gosta de fazer, mesmo que a AI possa fazer isso em 3 anos
- Alguns projetos podem ser apenas esboçados com clareza — o que se quer, por que é bom e como fazer — para que uma AGI melhor os execute depois
- Gwern vê como algo que pretende registrar mais no futuro suas preferences, desires, evaluations, judgments
- A AI “não pode tomar sorvete por você” nem decidir em seu lugar de qual sorvete você gosta
- Seus critérios para julgar um trabalho são três
- Se é algo que ele faz porque gosta, independentemente da AI do futuro
- Se é algo em que apenas a parte que humanos precisam fazer agora é feita, deixando para a AGI o que ela poderá fazer depois
- Se é escrever hoje algo que não será registrado de outro modo, para ajudar uma versão futura de si mesmo apoiada por AI
- Ele basicamente tenta não fazer coisas que não se encaixem nessas três categorias
- Sobre quando uma AI será capaz de escrever um essay no nível de Gwern, ele diz ter ideias de como isso poderia ser possível mesmo sem AGI, combinando o corpus inteiro
- Muitas ideias potenciais de essay já estariam em grande parte prontas dentro do próprio corpus, então talvez não seja necessária superinteligência para extraí-las
- Em termos de planejamento geral de AGI, ele diz que o timeline da Anthropic de 2028 parece um bom ponto de partida
- Ele vê a escrita como uma forma de influenciar o Shoggoth do futuro
- Os tokens que um LLM precisa prever são uma das poucas currencies que a AI reconhece, e escrever é algo próximo de votar no futuro
- Valores, gostos e desejos que não forem expressos em texto online praticamente não existem para a AI
- Num sentido parecido com “If it wasn’t written down, it wasn’t written down”, informações autobiográficas não registradas ou emoções de um momento específico são difíceis de reconstruir depois a partir de vestígios
Rabbit holes, deficiência auditiva, Wikipedia
- Gwern diz que o que tenta maximizar na vida são os rabbit holes
- O que mais o entusiasma é mergulhar profundamente em ideias ou áreas novas que ele desconhecia completamente
- Ele diz que, a partir do caso de gatos que não reagem a catnip, acabou investigando por que alguns gatos são imunes a catnip e até substâncias alternativas ao catnip
- Ao mesmo tempo, ele considera que o máximo de rabbit holes que dá para explorar a fundo ao mesmo tempo é 2 ou 3
- Acima disso, fica mais próximo de um interesse passageiro do que de um esforço real de investigação
- Um rabbit hole precisa ser obsessivo; se não continua puxando você, então não é um rabbit hole de verdade
- Como o rabbit hole em que ficou por mais tempo, mas que não teve uma continuação satisfatória, ele cita seu trabalho inicial sobre Neon Genesis Evangelion
- Ele leu praticamente todo o material em inglês e tentou entender o processo de desenvolvimento e por que a obra acabou sendo daquele jeito, mas na época não encontrou uma resposta clara e se esgotou
- Anos depois, acabou entendendo por acaso, mas diz que já não tem interesse suficiente para reescrever ou concluir isso
- Gwern tinha deficiência auditiva desde o nascimento e, antes do jardim de infância, frequentou uma escola de educação especial para crianças com deficiência auditiva e outras deficiências
- Na escola, precisava levar para cada aula um aparelho auditivo conectado ao professor e uma grande caixa marrom, e sentia humilhação por se perceber diferente das outras crianças
- Como o desempenho dos aparelhos auditivos na época não era bom, ele sempre ficava um compasso atrás para entender as conversas, o que teve um grande impacto negativo na socialização
- Como a leitura era uma atividade que ele podia fazer sem ser afetado pela deficiência auditiva, ele acha que isso contribuiu para transformá-lo em um bookworm
- Antes de começar o blog, ele editava a Wikipedia
- Ele diz que a Wikipedia fazia o papel de uma gwern.net antes da gwern.net, e que o que faz hoje em seu site ele teria feito na English Wikipedia naquela época
- Ele ainda se orgulha do verbete sobre Fujiwara no Teika
- Diz que muito do que aprendeu sobre escrita veio da edição na Wikipedia, mais do que da escola ou da universidade
- Ele considera que hoje é difícil fazer na English Wikipedia o tipo de treinamento baseado em rabbit holes que fazia no passado
- Diz que, em comparação com 2004, os verbetes estão muito mais completos e a comunidade de edição é mais hostil a contribuições detalhadas e obsessivas de caráter investigativo
- Essas contribuições podem ser apagadas ou rejeitadas por original research ou por problemas com fontes não aprovadas
- Seu primeiro grande sucesso foi o texto sobre o Silk Road
- Quando Adrian Chen escreveu na Gawker sobre comprar LSD no Silk Road, ele mudou de postura ao perceber que o Bitcoin era real o bastante para permitir comprar drogas de verdade na internet
- Gwern usou o Silk Road ele mesmo e documentou o processo de pedido com capturas de tela
- Ele diz que, depois de publicado, o texto registrou centenas de milhares de visualizações, a ponto de parecer um pico vertical no gráfico do Google Analytics
Método de trabalho, motivação para escrever, design do site
- Gwern acha que as pessoas superestimam sua inteligência
- Ele diz que, por lembrar de muita coisa e ter escrito muito por muito tempo, parece alguém que faz tudo de improviso
- Em conversas reais, muitas vezes ele está apenas citando coisas que já escreveu ou sobre as quais pensou por muito tempo
- Em comparação com pessoas que se atualizam rapidamente no improviso, ele não se considera especialmente inteligente, mas acha que no fim o que importa é o resultado produzido
- Seu processo de trabalho se parece mais com um acúmulo de pequenas notas ao longo de muito tempo do que com um único golpe de genialidade
- Se notas como “isso é estranho” ou “este é outro caso desse padrão” se acumulam ao longo de 10 anos, o resultado pode parecer mágico
- Ele diz gostar da frase de Penn & Teller de que “mágica é colocar mais esforço do que uma pessoa racional esperaria”
- Ensaios como “Evolution as Backstop for RL” são sínteses que surgiram como resultado de ver o mesmo padrão se repetir
- A estrutura central é aprender algo mais inteligente com um modo de aprendizado burro e ineficiente, sem conseguir eliminar completamente o método original
- Exemplos como empresas, meta reinforcement learning, neural networks e dor se conectam, formando a estrutura atual
- Alguns ensaios surgem de um momento de eureca, mas antes disso várias notas permanecem por muito tempo sem que se saiba que estão conectadas
- Quando chega o momento em que de repente tudo parece ligado, ele escreve um ensaio enorme de uma vez só
- “The Melancholy of Subculture Society” é um exemplo desse tipo de ensaio-eureca
- Seu fluxo diário de trabalho começa organizando o trabalho feito no site no dia anterior
- Ele cuida de formatting, spelling errors e problemas de layout, além de adicionar pensamentos extras ou comentários importantes
- Depois disso, lê bastante via Twitter ou RSS feed e, se sua atenção é puxada por comentários ou perguntas, escreve
- À noite, tenta trabalhar em projetos ou contribuições reais e depois vai para a gym
- Ele vai à gym porque é a atividade mais oposta possível a ficar sentado em frente ao computador lendo
- Não porque goste especialmente de weightlifting, mas porque acha que, para evitar burnout, é preciso fazer algo o mais diferente possível
- Discussões online são uma forte motivação de escrita para Gwern
- Para escrever e cristalizar um pensamento, para “colhê-lo”, ele precisa de motivação
- A raiva e a motivação de debate que surgem ao ver pessoas erradas na internet são abundantes
- Mas ele acha que o spite deve ser usado só enquanto for necessário e depois abandonado; se você continuar se agarrando a isso, acabará se envenenando
- Ele diz que não consegue defender totalmente, do ponto de vista da utilidade social, o tempo que gasta com CSS e design do site
- É um hobby que ele mantém porque gosta, e um site bonito torna mais suportável reler seus próprios textos repetidamente
- Ele acha que a manutenção do site pode funcionar como uma espécie de spaced repetition para o autor
Sustento, Patreon, vida com menos de US$ 12 mil por ano
- A escrita em tempo integral é sustentada por Patreon e poupança
- A receita do Patreon gira em torno de 900 a 1.000 dólares por mês
- Ele teve a sorte de ganhar o suficiente com seus primeiros Bitcoins para viver disso por bastante tempo, mas não o suficiente para sempre
- Tenta reduzir os gastos o máximo possível para estender sua runway de escrita
- O desenho de incentivos de Patreon e Substack é estranho para Gwern
- Ele acha difícil criar recompensas boas sem montar um paywall
- Para quem gosta de atualizações regulares em formato de newsletter, como Scott Alexander, Patreon e Substack funcionam bem, mas ele não gosta desse modelo
- As condições para viver com menos de 12 mil dólares por ano são de extrema frugalidade
- Ele mora em um lugar remoto, quase não gasta com viagem, restaurantes ou plano de saúde, cozinha em casa e usa uma academia gratuita
- Ele cita o caso de quando o piso do quarto apodreceu e cedeu por causa da umidade, e ele o sustentou com madeira de sucata e vigas, aceitando até a entrada de insetos
- Ele descreve o próprio estilo de vida como algo mais próximo de “um pós-graduando que come miojo melhorado”
- Esse estilo de vida não é um ideal nem um modelo que outros escritores possam simplesmente copiar
- Ele considera sorte o fato de ter tido uma saúde muito boa até agora e de não ter passado por grandes emergências
- Diz que é um caso particular em que Bitcoin, uma personalidade satisfeita em viver como um monge e boa saúde coincidiram
- Quem quer ser escritor ou blogueiro precisa encontrar seu próprio modelo de sustento, seja com Substack ou trabalhando com JavaScript em uma empresa de tecnologia e escrevendo em paralelo
- O principal motivo para não se mudar para San Francisco é dinheiro
- Ele diz que não quer pensar em quantos meses de runway de escrita teria de sacrificar para cada mês vivido em San Francisco
- Afirma que, se alguém lhe oferecesse de 50 mil a 100 mil dólares por ano para se mudar para SF e continuar escrevendo em tempo integral como hoje, aceitaria imediatamente
Diversidade de modelos de IA, medicamentos GLP, fatores ambientais, psychedelics
- Gwern considera que, tirando “capacidade”, os modelos de IA já são cognitivamente muito mais diversos do que os humanos
- Afirma que LLMs diferentes pensam de maneiras
distinctsó de observar as amostras - Considera que LLMs são diferentes de GANs, e GANs também são diferentes de VAEs; especialmente em modelos pequenos ou de baixo desempenho, o
latent space, os artefatos e os erros diferem bastante
- Afirma que LLMs diferentes pensam de maneiras
- Sobre os casos em que é difícil distinguir a saída de cada modelo no Chatbot Arena, Gwern considera que isso acontece porque hoje o cenário está restrito a LLMs recentes e
heavily tuned- Nesse contexto, todos seguem o estilo uns dos outros e são treinados com dados muito parecidos, então ele compara isso a “gêmeos idênticos”
- Mas, olhando para o deep learning como um todo, ele considera que a amplitude de mentes e formas de pensar é muito ampla
- Ele considera que a diferença entre GANs e diffusion models aparece na forma de representar mãos
- GANs, por causa da
adversarial loss, têm incentivo para esconder alguma coisa, então acabam mandando a mão para fora da tela ou agindo como se nem conseguissem pensar na mão - Já os diffusion models pensam na mão, mas erram ao representá-la em formas gigantescas e monstruosas
- GANs, por causa da
- Como uma tendência cujas implicações as pessoas ainda não entendem o suficiente, ele cita os medicamentos para perda de peso da classe GLP
- Diz que os efeitos sobre saúde, vício e uma ampla variedade de comportamentos foram surpreendentes
- Os resultados ainda são
preliminary, mas parecem efeitos reais - Acha que isso pode nos dizer algo importante sobre a força de vontade humana e a
dysfunctionality
- Ele considera que ainda é cedo para dizer se os GLP drugs quebram o argumento de Algernon
- Diz que ainda não entendemos o que o GLP realmente faz
- Afirma que os benefícios podem reduzir a
fitnessem termos defertility, ou que a droga pode agir no corpo de um modo muito difícil de replicar geneticamente - Como a crise da obesidade é um fenômeno recente, que só ficou clara por volta dos anos 1990, ele acha difícil aplicar o argumento de Algernon a uma escala de 20 a 30 anos
- Ele considera quase 100% provável que existam, no ambiente moderno, fatores com grande impacto, como o envenenamento por chumbo na Roma antiga
- Químicos continuam criando novas substâncias, há também fatores ligados ao
microbiome, e os plásticos são um candidato popular, embora talvez não sejam o verdadeiro fator - Ele não acredita em uma causa específica, mas acha que pode haver algo nocivo que se acumula no estilo “1% aqui, 1% ali”
- Olhando para a série temporal, considera que a
intelligenceem geral tem sido bastante estável, então os fatores realmente nocivos provavelmente afetam mais a obesidade do que a inteligência
- Químicos continuam criando novas substâncias, há também fatores ligados ao
- Ele é cético em relação aos experimentos com psychedelics no estilo Bay Area
- Os efeitos dos psychedelics podem ser
acuteepermanent - Ele considera que nootropics têm efeitos relativamente mais
manageablee controláveis - Algo como LSD pode mudar permanentemente a forma como a pessoa vê o uso de LSD ou seu
psychiatric state - Algumas poucas experiências podem ser boas, e ele próprio diz ter se beneficiado, mas além disso seria preciso examinar seriamente que tipo de ganho se está obtendo e como isso está mudando a própria pessoa
- Os efeitos dos psychedelics podem ser
Literatura, ficção e perguntas em aberto
- Gwern diz que, sem a internet, talvez tivesse estreitado seus interesses e publicado de forma consistente para sobreviver na academia formal, ou então seguido algo como o caminho de Jorge Luis Borges, tornando-se bibliotecário
- Ele diz que sempre concordou com a ideia de Borges de “imaginar o paraíso como uma biblioteca” e que também ama bibliotecas
- Lamenta não poder passar muito tempo em bibliotecas físicas hoje, já que agora lê quase tudo no computador
- Borges é, para Gwern, um escritor quase heroico
- Depois de passar por Hyperion e The Fall of Hyperion, de Dan Simmons, Out of Control, de Kevin Kelly, e “The Library of Babel”, releu repetidamente a obra completa de ficção e não ficção de Borges
- Diz ter ficado impressionado com a capacidade de escrever contos e ensaios criativos, divertidos e provocativos com base em um conhecimento enciclopédico, e que, se pudesse ser como algum escritor, gostaria de ser Borges
- Como obras literárias que não entendeu no começo, mas entendeu depois, ele cita “Story of Your Life”, de Ted Chiang, e “Suzanne Delage”, de Gene Wolfe
- Interpreta “Suzanne Delage” como uma releitura sutil de Dracula, em que Drácula invade a cidade, toma a mulher e hipnotiza o narrador no estilo Bram Stoker para fazê-lo esquecer tudo
- Entende “Story of Your Life” não como uma história de viagem no tempo ou precognição, mas como uma mente alienígena, porém igualmente válida, que vê tudo como parte de uma narrativa já determinada e de um fim já marcado
- Ele é cínico quanto à utilidade da ficção
- Acha que alguém pode passar a vida inteira lendo apenas fiction e não ganhar nada além de memorizar muitas curiosidades sobre coisas inventadas por outras pessoas
- Diz que 99% da ficção científica que leu foi totalmente inútil, e que as obras realmente perspicazes o suficiente para mudar sua visão de mundo poderiam ser reduzidas a cerca de 20 romances ou contos
- O ponto em comum entre essas obras de topo é tratar com seriedade a inteligência não humana
- O papel que ele gostaria de ter na vida das pessoas é parecido com o papel que o personagem “Gwern” assume em LLMs como Claude-3, como um mentor ou um velho mago
- Algo mais próximo de uma figura que oferece insights sobre a situação e faz um
call to adventure: “você também pode escrever, fazer alguma coisa e pensar” - Ele quer que o leitor não apenas se divirta ou se informe, mas também tenha a aspiração de que páginas web e a internet possam ser melhores
- Algo mais próximo de uma figura que oferece insights sobre a situação e faz um
- Na prática, ele teme poder se tornar, para algumas pessoas, uma espécie de guru ou trickster devil
- Para quem gosta dele, pode parecer alguém cujo site inteiro pode ser aceito como gospel, e ele detesta isso
- Para quem não gosta, diz que pode ser visto como uma figura demoníaca exagerada:
covert,malicious, neo-Nazi, eugenicist, totalitarian, communist, anti-Chinese
- Os
open rabbit holespara os quais ele gostaria de ter respostas até 2050 são grandes perguntas sobre a humanidade e a civilização- Por que dormimos e sonhamos
- Por que os humanos envelhecem
- Por que existe reprodução sexuada
- Por que os humanos são tão diferentes entre si, e também diferentes de um dia para o outro
- Por que a humanidade demorou tanto para desenvolver uma civilização tecnológica
- Onde estão os alienígenas
- Por que a Revolução Industrial aconteceu em outro lugar, e não na China
- Como deveríamos ter previsto a revolução do deep learning
- Por que o cérebro humano é tão
oversizedem comparação com redes neurais artificiais
1 comentários
Comentários no Hacker News
Escrever é votar no futuro com uma das poucas moedas que o Shoggoth reconhece: tokens a serem previstos. Se você não escreve, está abrindo mão do futuro ou do seu papel nele; e, mesmo que ache que basta ser um bom cidadão, votar, recolher lixo e reciclar, o futuro não se importa
As previsões sobre IA parecem levar muito pouco em conta como humanos reais vão julgar se mídias geradas por IA conseguiram substituir criações humanas — ou se algum dia vão conseguir. Hoje, um projeto ser conhecido como gerado por IA é, na verdade, algo negativo; há dois anos, uma imagem de IA no cabeçalho de um blog parecia legal, mas agora faz a pessoa parecer ultrapassada
Por isso sou cético quanto à previsão de que uma IA superinteligente vá substituir todas as criações, ensaios, textos, vídeos etc. humanos. O fato de ser possível não significa que isso vá acontecer de fato, nem que as pessoas vão se importar. Parece muito mais provável que se estabeleçam formas de verificar a humanidade, que a economia da atenção continue concentrada em pessoas reais e que surjam cemitérios de lixo de IA com os quais ninguém interage
O argumento de que a IA não vai dominar é que nós nos organizamos em torno de símbolos e narrativas e somos muito sensíveis a memes enfraquecidos ou inferiores, de modo que a IA teria de se reinventar a cada vez como “algo que não é IA”. Mas, usando a música como analogia, variações limitadas às vezes dominam por décadas; e há precedentes de lixo como estrelas pop fabricadas por máquinas industriais gerando memes dominantes que prendem a mente de milhões de pessoas por toda a vida
Hoje, a IA consegue imitar todo o sistema de significados dessas estrelas pop, e o TV Tropes cataloga todos os elementos do lixo cultural contra os quais as pessoas deveriam estar imunes, mas ainda assim milhões vivem personagens e narrativas que receberam do lixo pop. Assim como a música, a TV e o cinema de hoje moldam a ontologia das pessoas, certamente haverá uma longa cauda em que lixo de IA molda ontologias; isso é bem próximo de ser arrastado por simulações de IA, e pode ser ainda mais sutil. Ou talvez simplesmente consigamos sacudir isso para longe
A humanidade está apostando seu futuro na ideia de que, antes de um hard takeoff, vamos esbarrar em limites intratáveis da teoria da informação que façam o ganho de desempenho ter retornos decrescentes; mas, por enquanto, é difícil acreditar na afirmação de que os métodos atualmente comprovados estejam no alto de alguma curva em S. Modelos de IA ficaram dramaticamente melhores este ano do que no ano passado, e no ano passado do que no anterior, e é bem provável que continuem melhorando pelos próximos anos
Só isso já é suficiente para transformar uma boa parte dos processos sociais e econômicos, para o bem ou para o mal
Por exemplo, o Dall-E 2 era muito melhor quando foi lançado do que é hoje; a versão atual foi ajustada para não conseguir produzir algo parecido com a produção de artistas contemporâneos, e o restante também parece ter sido claramente alterado para renderizar tudo em tons berrantes de laranja e azul. No fim, quando modelos melhores surgirem ou vazarem, não será possível distinguir se uma imagem foi gerada por IA ou não
Talvez seja um voto muito mais influente fazer spam com IA generativa de conteúdos alinhados às suas opiniões, ou ir ao Quênia trabalhar em RLHF de baixa remuneração
Acho difícil acreditar que Gwern viva de forma tão frugal quanto descrito neste texto, e nem tenho certeza se é mesmo ele. Gwern tem uma persona que quer projetar, e tenho quase certeza de que parecer frugal faz parte disso
Quanto à pergunta “quem é Gwern?”, eu o vejo como o tipo de pessoa que planta sementes na mente dos outros e deixa que cada um construa o resto da história. Ainda assim, gosto de muitos de seus textos, especialmente aqueles sobre temas estranhos e estreitos nos quais a maioria das pessoas nem para para pensar
Graças ao ensaio de Gwern sobre a falácia do custo irrecuperável, acabei não fazendo uma tatuagem sobre a qual tinha mudado de ideia. Eu quase ia fazer só porque já tinha pago o sinal, mas li aquele texto uma semana antes da sessão e concluí: “se crianças pequenas e animais também não caem no custo irrecuperável, eu também não deveria cair”. Literalmente, um texto de Gwern salvou a pele das minhas costas
Não gosto da ideia de que as pessoas agora o encaixem em uma caixinha apenas por sua frugalidade efetiva, mas espero que ele receba bastante apoio financeiro, diretamente ou via patreon.com/gwern, para compensar isso
Foi uma entrevista difícil de ouvir, por dois motivos sutilmente parecidos
A voz parecia estar presa no vale da estranheza; era realista, mas difícil de escutar. Mais precisamente, era cognitivamente difícil conectar o significado a partir daquela voz, e o timbre e o sentido não se sustentavam mutuamente. Talvez isso mude se crianças crescerem ouvindo vozes com esses tons aleatórios
A conversa também foi excessivamente prolixa. Um vocabulário amplo muitas vezes encobre a pobreza do raciocínio e, para certos ouvintes, o esforço para entender as palavras pode atrapalhar a compreensão das relações entre elas, ou seja, do significado, fazendo tudo soar como uma mistura de palavras que parecem inteligentes. Se você tira o vocabulário, as zombarias sutis e o estilo “sei mais do que estou dizendo”, aparece muito bate-papo que não está correto nem tem um raciocínio concluído. Esse tipo de conversa pouco elaborada em si é aceitável, mas embalá-la com vocabulário e estilo pouco familiares gera mal-entendidos e não é gentil. Alguns fragmentos que “parecem inteligentes” na verdade são só fragmentos idiotas bem vestidos
Posso estar errado porque não conheço bem o estado da arte em voz gerada por IA, mas não soou falso, e a fonte linkada também diz que é um humano. Talvez tenha parecido estranho porque era um humano lendo a transcrição de uma conversa e tentando fazê-la soar como uma conversa
Foi uma semana com muitas entrevistas interessantes em podcasts sobre IA
Além desta, há a série de entrevistas de Lex Fridman com figuras importantes da Anthropic https://youtu.be/ugvHCXCOmm4 e também a longa conversa entre Stephen Wolfram e Eliezer Yudkowsky sobre risco de IA https://youtu.be/xjH2B_sE_RQ
Meu insight favorito de Gwern é Bitcoin is Worse is Better. Depois de resumir uma longa lista de objeções ao Bitcoin, ele pergunta se há algo em comum entre elas, e a resposta é: “não, o problema do Bitcoin é que ele é feio”
A ideia é que é feio fazer a segurança da rede depender apenas de ter mais poder computacional bruto que o adversário; é feio precisar de mais da metade da capacidade de processamento, agora e no futuro, para evitar gasto duplo; é feia a árvore de hashes que não para de crescer; é feio um sistema que não pode ser usado offline sem proxies e contornos; é feio ter de rastrear publicamente todas as transações. Mesmo que a oferta monetária precise ser fixa, ele pergunta por que o limite arbitrário é de 21 milhões, por que esse número específico, e não um número mais redondo ou uma potência de 2. A mineração também é um presente grande demais para os primeiros participantes, e até o fato de que, se você enviar para um endereço errado, os Bitcoins podem simplesmente desaparecer entra na crítica de que o conjunto todo é feio e pouco elegante
https://gwern.net/bitcoin-is-worse-is-better
É difícil entender por que dão tanto crédito a essa fantasia esperançosa de uma empresa de IA com apenas uma pessoa visionária no topo
Primeiro, CEOs realmente visionários são um nicho extremamente estreito. Segundo, a maioria das empresas não funciona assim, e o fato de haver pessoas empregadas é tão importante quanto aquilo que a empresa produz. Terceiro, em uma sociedade na qual o trabalho assalariado, o motor econômico mais comum, desaparece de repente, quem vai comprar ou alugar esses serviços ou produtos?
Incomoda muito esse pensamento sistêmico que pressupõe que é possível mudar e remodelar sistemas à vontade, como se as implicações sociais pudessem ser completamente ignoradas. Ao redor há, na prática, engenheiros de silo glorificados, tomados de autoconfiança, posando de “pensadores”
O link do parágrafo citado sobre Newton leva a um texto no site do Gwern, e esse texto tem vários links internos e externos, mas não encontrei nenhum link que sustente a visão de Newton sobre “progresso”.
O conceito de “progresso rápido” é relativo. Também havia progresso rápido naquela época, e hoje há apenas um progresso ainda mais rápido; não há contradição. Também não concordo com a ideia de que não ficamos muito impressionados ao ver melhorias em navios ao longo de alguns séculos, longos poemas filosóficos em latim, agulhas ou impressoras. Nós ficamos, sim, bastante impressionados.
Não sei como esta entrevista recebeu tantas recomendações, e fiquei com a sensação de ter perdido tempo.
A segunda grande citação em https://gwern.net/newton#excerpts está ligada de forma bem visível a https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173, e me parece justificar suficientemente minha afirmação, tomada de algo que Newton disse diretamente ao genro. Ela também é estreitamente paralela a outras declarações históricas, como a de Lucrécio, e essas também foram apresentadas com referências claras e citações específicas.
Acho um pouco difícil entender por que você disse que isso não sustenta nada, e fico me perguntando se por acaso não estamos olhando páginas diferentes.
Não tanto por acreditar que, na linha do tempo atual, uma civilização humana avançada tenha se autodestruído, mas porque o fato de terem surgido tantas rupturas que mudam a vida em tão pouco tempo parece uma marcha incessante rumo a um grande filtro.
Vai soar um tanto agressivo, e de fato é um pouco, mas já interagi com o Gwern neste fórum, e o que ficou na memória foi este tópico em que ele achou que a^nb^n era uma linguagem regular e chamou meu comentário de “not even wrong”.
https://news.ycombinator.com/item?id=21559620
Desculpe falar de forma negativa, mas naquela época o Gwern já era tratado por uma parte considerável da comunidade como uma influência importante na área de IA. Para mim, foi um bom exemplo de como a maioria dos influenciadores de IA que disputam influência nas redes sociais, em vez de fazer pesquisa, na verdade não entende bem IA e ciência da computação, apenas é boa em organizar e popularizar conhecimento de segunda mão. É fácil ser torcida organizada para a visão dominante em IA. O difícil é encontrar e seguir uma direção própria.
Um Transformer consegue entender intelectualmente a^nb^n com facilidade, mas não consegue determinar se uma string arbitrariamente longa pertence a essa linguagem. Só que essa limitação também é compartilhada por humanos. Se a string for suficientemente longa, um humano também acaba perdendo a conta.
Respeito esforços variados, mas engenharia é construir coisas que as pessoas possam usar sem precisar saber tudo. É uma tarefa muito mais interessante do que virar um mecanismo humano de busca do Google.
A ideia do avatar é interessante, mas acho que teria sido melhor ter apenas voz e forma de onda de áudio, em vez de criar um avatar falante. Talvez seja uma preferência pessoal de não querer formar uma imagem mental de uma pessoa que não conheço. É parecido com ler um livro depois de ver a adaptação para o cinema.
É normal um ator dublar a fala, mas um ator mostrar o rosto de uma pessoa anônima é uma escolha bastante peculiar.
Vantagem do anonimato: “Obtive muitos benefícios porque as pessoas não podem mandar heroína para minha casa nem fazer denúncias falsas à polícia para provocar uma operação da SWAT.”
Desvantagem do anonimato: nada de heroína grátis