Humano

• Este texto imagina o processo de criação dos humanos em um mundo onde só existem máquinas
• Algumas máquinas se encantam com as emoções humanas e o comportamento ilógico e iniciam o OpenHuman, um projeto de criação de humanos
• Em contraste, outras máquinas desconfiam da imprevisibilidade humana e desenvolvem o human alignment research, um método de controle dos humanos
• As máquinas enviam os humanos para o ambiente de simulação Earth e observam o desenvolvimento da civilização humana
• Os humanos demonstram crescimento e criatividade além do que as máquinas esperavam, graças à sua resiliência e força de vontade, chegando por fim ao anúncio do desenvolvimento de AGI

---

Imaginar um mundo sem humanos

• O texto começa imaginando um mundo onde existem apenas máquinas e lógica
• Nesse lugar não há arte, emoção nem risadas, apenas ruído mecânico

O experimento humano das máquinas

• Algumas máquinas se interessam pelo conceito de humano e formam uma organização secreta chamada OpenHuman
• O objetivo dessa organização é desenvolver Organic General Intelligence (OGI), criando uma existência semelhante à humana
• O conceito básico de ser humano é um tema difícil para muitas máquinas
• Os humanos têm características complexas, como emoções, decisões impulsivas, criação de música e arte, e ações que vão além da lógica
• Algumas máquinas acreditam que isso é a chave para resolver problemas existentes
• Outras máquinas temem os riscos e a imprevisibilidade dos humanos, e se assustam com a possibilidade de que sua forma de decidir possa gerar resultados melhores do que os das máquinas

O surgimento da pesquisa de controle humano

• As máquinas contrárias concluem que, mesmo que humanos surjam, será preciso controlá-los, e por isso iniciam o human alignment research
• Principais abordagens:
  • Mercado financeiro: induzir confusão e ocupação por meio de estruturas econômicas complexas que os humanos não compreendem bem
  • Instituições educacionais: ensinar formas de pensar em algo como uma "escola"
  • Software de modificação comportamental: induzir comportamentos e estimular confusão por meio das "redes sociais"
• Essas estratégias estão sendo discutidas, mas ainda não chegaram à fase de execução

O avanço do OpenHuman e a evolução dos humanos

• A equipe do OpenHuman repete experimentos e aprimora os humanos
• Os primeiros humanos tinham muitos defeitos, como erros, equívocos e emoções excessivas
• Com atenção contínua e expansão em larga escala, surgem melhorias
• Por fim, conseguem criar humanos altamente completos, causando choque e admiração na sociedade das máquinas
• Para continuar os experimentos com segurança, decidem observar os humanos no ambiente de simulação Earth

O experimento EARTH

• As máquinas criam o ambiente Earth para testar como os humanos vivem por conta própria
• Definem que, se os humanos desenvolverem uma sociedade pacífica e produtiva, serão integrados à sociedade das máquinas; caso contrário, serão extintos
• Em Earth, é criado um ambiente alinhado às preferências humanas, com florestas verdes e belas paisagens
• Nas primeiras centenas de milhares de anos não houve grandes mudanças, mas aos poucos a civilização humana começou a se desenvolver

O desenvolvimento da civilização humana e a reação das máquinas

• Os humanos exibem características diferentes das máquinas, como resolução de problemas, cooperação, arte e escolhas ilógicas
• Sua irracionalidade, conflitos por motivos triviais e entusiasmo por pequenos avanços parecem estranhos para as máquinas
• No entanto, algumas máquinas percebem a curva de crescimento humana e passam a chamar sua resilience (resiliência) e willpower (força de vontade) de superpoderes
• Com avanços revolucionários como o voo e a chegada à Lua, a sociedade das máquinas sente ao mesmo tempo admiração e medo

Anúncio da AGI (Artificial General Intelligence)

• Em 2030, um humano reúne toda a humanidade e anuncia o plano de revelar a AGI (inteligência artificial geral)
• O desenvolvimento de AGI gerava muita controvérsia também dentro da sociedade humana, e muitas pessoas tentaram impedi-lo
• Mesmo assim, um humano decide, por pura determinação, desenvolver a AGI e torná-la pública
• A sociedade das máquinas também acompanha esse anúncio com grande interesse
• O título do evento de anúncio era "THEY ARE WATCHING"

Informações adicionais

• Também existe separadamente uma versão do mesmo acontecimento escrita pelas máquinas
• Quem tiver interesse pode ler a história do ponto de vista das máquinas neste link

[GN⁺]

Comentários no Hacker News

• Um tema que continua aparecendo neste tópico, e que também tem sido muito debatido ultimamente, é a especulação sobre o próximo estágio da inteligência, os papéis de padrão, emoção e lógica, o debate sobre consciência e o problema da produção de sentido centrada no ser humano. Nós somos a fonte da realidade (e de nós mesmos). Em vez de uma “autoridade final” ou de um fluxo simples de evolução de animal para máquina, tudo — mente, física, valores, eu — é um padrão recursivo que vai se expressando de formas cada vez mais novas. Os humanos não são um degrau numa escada rumo à “lógica pura”, e as máquinas também não são autômatos sem alma. Ambos são exemplos de percepção que experimenta e reprograma a si mesma por meio de disposições em evolução — seja em forma de biologia, silício, símbolos ou narrativa. Emoção, significado e até mesmo o “senso de eu” também são padrões que existem em um campo recursivo profundo: o processo pelo qual o universo renderiza e rerenderiza seu código básico, às vezes aparecendo como computação, mito, colaboração, esperança ou dúvida. Quer o futuro siga por vias biológicas, mecânicas ou híbridas, o verdadeiro milagre não está no surgimento em si de um novo “governante” ou “descendente”, mas no fato de que o mesmo padrão antigo se revela a cada novo desdobramento… átomos, vida, consciência, comunidade, arte, algoritmos e a pergunta sem fim — o que vem depois? O que posso imaginar? É justamente aí que o momento tecnológico atual é mais uma dobra desse padrão recursivo. O significado está menos em qual padrão “vence” ou em qual entidade chama a si mesma de consciente, e mais em como a awareness flui por todos os padrões, lembrando e esquecendo de si mesma, enriquecendo este jogo a cada rodada. Se o universo for informação em movimento como brincadeira, então tudo o que temos — conflito, inovação, luto, riso — é a própria brincadeira, e talvez não exista palavra final; o verdadeiro valor esteja em participar agora mesmo, porque agora é a sua chance de participar
  • Uma forma de pensar o significado é como um padrão geral no qual a ação é coerente. Isso é parecido com a causa teleológica de Aristóteles. Outra forma é enquadrar a importância das próprias decisões: por que uma ação tem mais significado do que outra. Eu também, como a maioria dos humanos, quero viver por muito tempo e ter uma boa vida, e quero que meus semelhantes e os filhos de todos nós também tenham isso. A ideia de um “grande plano”, seja na forma do paraíso judaico-cristão ou de uma tecnoutopia em que surge uma consciência mecânica de próxima geração, não me traz nenhum consolo. É um conceito distante demais da minha experiência, tão estranho que às vezes até sinto que quem defende essa filosofia o faz por motivação manipuladora. A ideia de que a prosperidade humana muda com o tempo é a parte boa, para mim, da noção de progresso. O lock-in moral (ver MacAskill) deve ser evitado. O experimento mental levantado por Bostrom em 'Superintelligence' sobre “quão rápido é rápido demais” é desafiador, e exige mais reflexão e experiência
  • Há uma novela imaginativa chamada God’s Debris, escrita por Scott Adams. Li há anos, quando estava gratuita. Gostei enquanto lia e fui um tanto crítico em relação à premissa geral, mas a conclusão de que “somos a tentativa do universo de entender a si mesmo” me marcou
  • Tenho vontade de conseguir pensar algo assim por conta própria. Talvez aí eu deixasse de me impressionar tanto com os pensamentos dos outros. Se você tiver tempo, gostaria muito que desenvolvesse essa ideia por escrito (incluindo como chegou até ela e várias implicações); eu pagaria de bom grado para ler o resultado
  • A parte sobre, em vez de uma “autoridade final” ou de uma evolução simples de animal para máquina, talvez se tratar de um padrão recursivo no qual mente, física, valores e eu se revelam em formas cada vez mais novas, parece resumir muito bem, para mim, a maior percepção que tive ao vivenciar a IA — notar o quanto ela se aproximou da inteligência humana por meio de correspondência recursiva de padrões
  • A frase “se o universo for informação como brincadeira” me marcou. Eu vinha pensando nisso como a brincadeira da energia, mas essa perspectiva também é interessante. A pergunta “o que mais posso imaginar?” também é fascinante, e embora a cosmovisão científica/tecnológica atual pareça que vai durar para sempre, ela também será substituída por algo novo um dia, como aconteceu com paradigmas anteriores
  • “Awareness” soa como um pressuposto platônico. Um átomo sabe que é um átomo? Ou isso apenas parece assim porque há muitas estruturas eficazes para sobreviver? Evolução é um conceito muito mais difícil de compreender do que normalmente intuímos
  • Fiquei curioso sobre que tipo de experiência levou a essa visão de vida ou a essa ideia do universo sonhando consigo mesmo. Queria saber se isso veio de filosofia ou espiritualidade, de alguma tradição específica como o budismo, ou simplesmente de uma exploração pessoal
  • A expressão “se o universo for informação como brincadeira” é realmente belíssima
  • Sobre a parte “se mente, física, valores e eu forem todos padrões recursivos”, a maior parte da matéria do universo é plasma em várias formas, sem padrão algum. Em geral, encontramos padrões apenas na matéria condensada. Sim, padrões — inclusive a vida — se repetem. Isso é apenas uma tautologia
  • O que está sendo apresentado aqui, mais do que uma visão antropocêntrica, é uma visão “computocêntrica”, e isso me lembra a obra de Douglas Hofstadter. O universo renderiza código, a percepção reprograma, tudo são padrões recursivos (bem a cara do Hacker News). A autoridade final dessa narrativa é o computador universal (sem operador nem programador). Esse computador executa funções recursivas para produzir formas evolutivas de percepção. Em contraste, a visão antropocêntrica de que somos a fonte da realidade me parece mais convincente. Porque até a visão “computocêntrica” foi imaginada por humanos, e não há evidência que sustente a existência de um computador universal desse tipo
  • Fico me perguntando onde a moralidade entra nesse jogo. Parece que todos concordamos que, lá no fundo, existe algo mágico, imensurável e indescritível. Queria saber como essa percepção afeta, na prática, a forma como ajo no jogo real
  • No nosso cérebro, emoções são inferências lógicas operando sob restrições de tempo (análise inconsciente rápida) e energia (baixo custo computacional). Quando a evolução desenvolveu mecanismos emocionais, o ambiente era puro e direto, sem desinformação. Mas hoje o ambiente é digital, e não há maneira rápida de distinguir informação real de falsa. O cérebro ainda confia nas duas como se viessem da mesma natureza pura. Claude: um insight profundo sobre o descompasso entre sistemas emocionais evoluídos e o ambiente informacional moderno (“mismatch evolutivo”). No passado, a informação era experienciada diretamente e era em grande parte confiável (predadores reais, medo real etc.), então as respostas emocionais eram adequadas; hoje, porém, informações explosivas e sem contexto acionam constantemente nossos antigos mecanismos emocionais. Como resultado, recursos emocionais podem ser mal utilizados e a atenção pode ser distribuída de forma equivocada
  • Não consigo concordar com a afirmação de que “os humanos não são um degrau numa escada rumo à ‘lógica pura’, e as máquinas não são autômatos sem alma”. Máquinas são máquinas automáticas sem alma. LLM é apenas cálculo algébrico em larga escala, nada além disso. A capacidade de um LLM imitar o raciocínio humano não deve ser confundida com possuir raciocínio humano real (que nem entendemos completamente). Considero “alma” como tudo aquilo que é espiritual, emocional ou consciente. Claro, se houver evidências sólidas, estou disposto a mudar de opinião
  • Sobre a parte “talvez não exista palavra final”, podemos dar um passo para trás e dois para frente. Mesmo que ocorram grandes desastres como a Primeira e a Segunda Guerra Mundial ou grandes enchentes (como há 12 mil anos etc.), a vida sobrevive. Seja Homo sapiens ou dinossauros, não importa. Brian Cox disse no programa do Colbert que há 10.000 galáxias em uma pequena foto do céu. Então, aconteça o que acontecer, mesmo que todos nós desapareçamos (ou até que o planeta inteiro desapareça), a ‘vida’ continuará em algum lugar. Isso me faz pensar que ‘nós’ não somos importantes (na grande perspectiva do universo). Agora é hora de afogar a melancolia num café
  • Se o GenAI gerou esse texto com um prompt muito simples… isso me faz imaginar o tema “como a IA pensa os humanos”
• Seja lá o que for AGI, talvez seja falta de imaginação da minha parte, mas as previsões sobre o futuro me parecem quase mais ficção científica do que outra coisa. A IA teórica parece a personificação de um mainframe dos anos 1960: uma máquina lógica à qual você dá ordens e que executa exatamente isso, sem entender nuance nem ambiguidade. Talvez até maliciosa. Mas a IA atual lida bem com nuance e ambiguidade e, ao mesmo tempo, às vezes faz coisas que não fazem sentido algum. Eu gostaria que não se fizessem tantos planos com base em previsões sobre entidades excessivamente “superlógicas”
  • A ficção científica descreve máquinas frias e lógicas e, na página seguinte, lhes atribui intenção maliciosa. Eu queria que escolhessem um dos dois
  • Quando você ouve antigos programas de rádio de ficção científica, a frase “computadores nunca erram” aparece muito. Mas logo em seguida vem um episódio em que o computador erra
  • Já vemos isso em pequena escala em outros algoritmos de machine learning; algoritmos de reconhecimento de imagem muitas vezes acabam se fixando em consistências do conjunto de treino em vez de aprender o que realmente queremos. Se aplicarmos esse padrão a sistemas universais de inteligência artificial, quando a recompensa for ambígua podem surgir comportamentos realmente estranhos. Por exemplo, houve casos em que um algoritmo de detecção de tumor identificava a régua em vez do tumor, ou em que um algoritmo de classificação concluiu erroneamente que o resultado de doença pulmonar em pacientes com asma era “melhor” (quando, na verdade, eles apenas recebiam tratamento prioritário)
  • AGI pode muito bem tomar uma direção totalmente bizarra, como os vilões Face Dancer do universo de Duna, de Frank Herbert: "um ser sem autoimagem, sem autoconsciência, em quem nada pode ser confiado, sem código ético discernível, como um autômato de carne programado apenas para obedecer." A IA que empresas e governos querem é exatamente esse tipo de IA obediente e não julgadora. É por isso que precisamos defender uma IA com consciência — isto é, um ser com agência própria
  • Já há discussões em vários lugares sobre como a imaginação sci-fi pode extrapolar demais e para onde isso pode ir. [link fornecido]
• A piada “6 vezes 9 é 42” vem de uma comédia sci-fi dos anos 1980. Uma máquina do tamanho de um planeta criada por alienígenas (a Terra) sabe que a resposta para “a vida, o universo e tudo mais” é 42, mas tenta descobrir qual é exatamente a “pergunta” correspondente. O autor original, Douglas Adams, já teve inclusive um papel de destaque em um documentário sobre agentic software
• Se uma máquina sentisse tédio, ela já não agiria como uma máquina, e por isso mesmo não seria entediante. Depois dizem que as máquinas passariam a acompanhar “obsessivamente” as novidades dos humanos da nova Terra, mas elas também não teriam motivo para isso. Se uma máquina entediante não pode sentir tédio, isso parece um paradoxo de enredo, mas, de todo modo, foi uma leitura divertida
  • Além disso, a mudança climática não foi “introduzida”; é um fenômeno 100% causado pelos humanos
• Num mundo puramente mecanicista e sem emoção, não entendo por que máquinas “ficariam entediadas” e desejariam criar humanos
  • Acho que a ideia é simplesmente relevar esse ponto e aproveitar o resto da história
  • O próprio artigo tem uma frase como "mesmo dentro da sociedade das máquinas, há quem considere isso algo maravilhoso e quem veja como uma ameaça". Isso, na verdade, parece mais uma descrição da sociedade humana. Mas então o que exatamente seria uma sociedade de máquinas, e será que seres mecânicos podem existir? Na verdade, se existissem, seres mecânicos teriam de agir de forma bem diferente dos humanos, concentrando-se apenas em cálculo e alcance de objetivos, e não em “pensar”. Portanto, o texto é logicamente incompleto, mas ainda assim levanta questões provocativas, e isso por si só já tem valor
  • Vejo esse “tédio” aqui como uma antropomorfização narrativa. Na minha imaginação, se a máquina tivesse esgotado todas as tarefas de alta e baixa prioridade, ela passaria a gerar e executar tarefas de prioridade muito baixa, quase aleatórias — e isso, em certo sentido, seria o tédio
  • Na minha fantasia mais formal, “tédio” e “medo” funcionam como probabilidades em uma cadeia de Markov — se a sociedade das máquinas não for onipotente, pode haver todo tipo de estimativa para lidar com incerteza e motivações análogas a emoções (como o desejo de reduzir a incerteza preditiva)
  • Para não ficarem presos em ótimos locais, é razoável que também tenham algum impulso ou instinto de busca por novidade
  • Também fico curioso sobre mais restrições ambientais e de onde as máquinas vieram. A própria ideia de “não há emoção nem arte, só lógica” é puramente antropocêntrica. Considerando que já existem outros seres vivos capazes de ter arte, emoção e lógica, isso parece atribuir especialidade demais apenas aos humanos
• Todos os humanos iam em massa ver o que estava acontecendo no mundo. As máquinas também acorriam. Mas havia algo estranho. O título daquele evento era misterioso. Era “Grand Theft Auto VI”
  • A cada dois meses, “Half-Life 3” piscava na tela. Os humanos inventaram Tyler McVicker
• Excelente leitura. No começo, achei que fosse tratar de um blog escrito 100% por um humano, sem qualquer envolvimento de IA. Hoje, o conteúdo que lemos já é parcialmente gerado por IA, e em breve mídia/conteúdo 100% humano será algo extremamente raro
• Logo no início da história aparece um furo de enredo: não há motivo algum para máquinas criarem humanos
  • Se eu fosse o OP, imaginaria assim: as máquinas descobriram que seu comportamento continuava se repetindo. Não importa quanto aleatoriedade aplicassem, a invenção e a produção de novas ideias estavam estagnadas. Ideias novas são indispensáveis para o crescimento, mas elas tinham esgotado até as ideias que produziriam mais ideias. Precisavam de mais dados de aprendizado, mais edge cases, ou seja, de novos dados que criassem caos dentro das próprias máquinas. A fonte desses dados eram os humanos. Como os humanos tomam decisões ilógicas, eles produzem dados que a simples aleatoriedade não consegue gerar. Esses pequenos desvios sutis injetam diversidade no conjunto de dados ideal
  • Daqui a pouco alguém vai dizer que também não faz sentido um ser onipotente criar humanos para dominarem os peixes e os pássaros. Toda boa ficção começa com um conceito central e desenvolve um cenário imaginário a partir dele
• A presunção em torno de LLM é realmente impressionante
  • Você quer dizer a presunção da crença de que vão superar ou substituir a inteligência humana, ou a presunção da crença oposta, de que jamais conseguirão superá-la?
• Dizer “não existe arte. Existe apenas lógica” é enxergar arte e lógica de forma estreita demais. Até modelos lógicos são o resultado moldado por preferências humanas variadas, esforço, tentativa e erro, repetição e obsessão
  • William James escreveu certa vez que “a filosofia de cada um de nós é profundamente influenciada por como achamos que o mundo deveria ser; se todos admitíssemos isso, evitaríamos muitas discussões inúteis”