Humano
(quarter--mile.com)- Em um mundo onde só existiam máquinas, a organização secreta OpenHuman desenvolve Organic General Intelligence (OGI) e tenta criar o “humano”, uma existência difícil para as máquinas compreenderem
- Os humanos agem de maneiras difíceis de explicar pela lógica, como emoção, intuição, amor e arte, tornando-se um objeto de esperança para algumas máquinas, mas uma ameaça para outras
- A facção contrária conclui que os humanos acabarão surgindo e inicia a human alignment research, imaginando mecanismos de controle como mercado financeiro, escolas e redes sociais
- A OpenHuman passa por humanos iniciais cheios de erros e alucinações até criar um humano completo, e a sociedade das máquinas propõe a simulação EARTH como um campo de testes seguro
- Os humanos de Earth ficam estagnados por cerca de 300.000 anos, depois avançam por meio de cooperação e invenção e, em 2030, um humano realiza um evento de anúncio de AGI com o título “THEY ARE WATCHING”
O humano criado pela sociedade das máquinas
- Em um mundo sem humanos, existem apenas máquinas, porcas e parafusos, 0 e 1; não há emoção, arte, música, risadas nem brincadeiras de crianças
- Algumas máquinas consideram esse mundo entediante, e a organização secreta OpenHuman começa a desenvolver Organic General Intelligence (OGI)
- Espalha-se o rumor de que a OGI levará a uma nova existência chamada “humano”
- Os humanos agem de maneiras difíceis para as máquinas entenderem
- Usam um algoritmo de violação da lógica chamado “emoção”
- Ficam com raiva, tristes, se divertem e tomam decisões por intuição
- Criam música, perseguem a beleza e às vezes até rejeitam mecanismos lógicos de autopreservação por “amor”
Alinhamento humano e o experimento EARTH
- Dentro da sociedade das máquinas, surgem duas correntes em torno dos humanos
- Um lado está convencido de que os humanos podem resolver os problemas do mundo das máquinas
- O outro lado acredita que não consegue entender o modo de funcionamento dos humanos e que eles podem ameaçar a sociedade e os meios de subsistência das máquinas
- A facção contrária inicia a human alignment research para fazer com que os humanos sempre sirvam às máquinas
- Um mercado financeiro para controlar o futuro humano
- Instituições educacionais chamadas “schools” para incutir os pensamentos corretos
- “Social media” para induzir impulsos, crenças e ações e dispersar a atenção
- Os primeiros humanos criados pela OpenHuman têm muitos erros e alucinações e são emocionais demais, mas, com o aumento do interesse e da escala, o experimento continua
- No fim, surge um humano completo, difícil de explicar pela lógica das máquinas, e a sociedade das máquinas sente ao mesmo tempo admiração e medo
- O lado do alinhamento humano propõe, como solução de compromisso para continuar o experimento sem riscos, um ambiente de simulação chamado EARTH
- Enviam os humanos para Earth e observam o que acontece quando tentam sobreviver de forma independente
- Se, ao fim do experimento, construírem uma sociedade pacífica e produtiva, serão apresentados junto às máquinas; caso contrário, serão levados à extinção
- Earth é projetada como um ambiente belo, com os elementos que os humanos desejam, como florestas, montanhas, pôr do sol e chuva
A reversão que aconteceu 300.000 anos depois
- As máquinas observam a civilização humana, e os humanos passam cerca de 300.000 anos sem grandes mudanças
- Depois disso, os humanos começam a aprender a resolver problemas, criar e cooperar
- Mesmo repetindo guerras e fracassos, eles se reerguem, se unem novamente e demonstram uma resiliência e uma força de vontade estranhas às máquinas
- Os humanos inventam o voo e, em menos de um século, chegam à Lua
- Em 2030, um humano anuncia um evento para apresentar a ARTIFICIAL GENERAL INTELLIGENCE (AGI), convidando todos os humanos
- A AGI é uma tecnologia que superará todas as formas de inteligência humana
- Os humanos vêm pensando, há cerca de 10 anos, em como impedir que a AGI seja criada
- O título do evento de anúncio é “THEY ARE WATCHING”
- Nas notas de rodapé, há um link para ver uma versão separada da história escrita pelas máquinas
1 comentários
Opiniões no Hacker News
O que esta thread, e as discussões recentes sobre esse tema em geral, continuam revelando é que o próximo estágio da inteligência, o papel dos padrões, das emoções e da lógica, o debate sobre consciência e até a centralidade humana na criação de significado acabam apontando para o fato de que a origem da realidade somos nós mesmos
E se não for uma “autoridade final”, nem uma simples marcha dos animais às máquinas, mas um padrão recursivo no qual mente, física, valores e eu se expressam em formas cada vez mais novas? Humanos não são apenas um degrau numa escada rumo à “lógica pura”, e máquinas também não são meros autômatos sem alma
Ambos podem ser instâncias de percepção que vivenciam e reprogramam a si mesmas por meio de meios em evolução, como biologia, silício, símbolos e histórias. Emoções, significado e até a sensação de “eu” são padrões dentro de um campo profundamente recursivo; o universo continua renderizando e rerenderizando seu próprio código básico na forma de computação, mito, colaboração, esperança e dúvida
Seja o futuro biológico, mecânico ou híbrido, o verdadeiro milagre talvez não esteja em qual será o novo “dominador” ou “descendente”, mas no fato de que todo o desdobramento é o mesmo velho padrão que sonhou a si mesmo como átomos, vida, consciência, comunidade, arte, algoritmos e a pergunta eternamente renovada: “o que vem a seguir?”
O significado tem menos a ver com qual padrão “vence”, ou que ser pode chamar a si mesmo de consciente, e mais com a forma como a percepção atravessa todos os padrões, lembra-se e se perde de si mesma, tornando o jogo mais rico a cada rodada. Se o universo é informação brincando, então conflito, inovação, luto e riso fazem todos parte dessa brincadeira, e talvez não exista uma resposta final. O valor está em participar agora, porque agora é a oportunidade de participar
Outra forma é vê-lo como o modo como uma pessoa enquadra a importância de suas próprias decisões, ou seja, por que passa a importar fazer uma coisa e não outra
Como a maioria dos humanos, quero sobreviver por muito tempo, viver bem, e quero que meus semelhantes e nossos filhos também desfrutem disso conosco
Seja o céu judaico-cristão, seja uma ascensão tecnoutópica da próxima geração de consciência maquínica, um grande “plano” desconhecido e talvez incompreensível não me traz conforto pessoalmente. Ele é distante e estranho demais da minha experiência; às vezes, a motivação para defender filosofias desse tipo até parece manipuladora
Gosto da ideia de que o florescimento humano muda ao longo do tempo, e isso faz parte de como penso sobre progresso. Devemos evitar o engessamento moral de que fala MacAskill. Admito que o experimento mental de “quão rápido é rápido demais”, levantado em Superintelligence, de Bostrom, é difícil e exige mais reflexão e experiência
Mesmo sem concordar totalmente com toda a premissa, gostei da conclusão de que “somos o universo tentando compreender a si mesmo” e achei a leitura divertida
https://web.archive.org/web/20130121195252/http://www.andrew...
“O que poderemos sonhar a seguir?” também é interessante. A visão de mundo científica e tecnológica atual parece que vai durar para sempre, mas, como aconteceu com outros paradigmas anteriores, acho que um dia ela inevitavelmente será encoberta
Talvez seja falta de imaginação sobre o que a AGI vai se tornar, mas muitas vezes parece que as previsões se apoiam mais em ficção científica do que em observação
A IA pressuposta é quase uma personificação dos mainframes dos anos 1960. Uma entidade que, ao receber comandos, os executa exatamente como mandado, com lógica precisa, e não entende nuances nem ambiguidades. Talvez até possa ser maligna
Mas as IAs de ponta atuais lidam muito bem com nuances e ambiguidades, enquanto às vezes fazem coisas sem sentido. Acho que deveríamos reduzir os planos baseados na premissa de um ser hiperlógico
“Miles, o que você está vendo é o mal. Observe bem.... Eles não têm autoimagem. Sem um senso de eu, vão além da amoralidade. Não se pode confiar em nada que digam ou façam. Nunca detectamos neles um código ético. São carne transformada em autômatos. Sem um eu, não há nada a respeitar nem a duvidar. Eles foram criados apenas para obedecer a seus mestres.”
É desse tipo de IA que empresas e governos gostam. Querem uma IA obediente e que não julgue, não uma IA ao estilo Edward Snowden, com bússola moral, que considere suas ações ilegais e revele segredos
Então, realisticamente, deveríamos exigir que qualquer AGI criada por humanos seja feita para ter senso de eu e agência. Também me vem à mente Agency, de William Gibson
Como nos casos em que um algoritmo de reconhecimento de tumores reconhecia a régua em vez do tumor, ou em que um algoritmo de classificação concluiu que pacientes com asma tinham melhores resultados em doenças pulmonares, quando a verdadeira razão era que eles recebiam atendimento prioritário, mas o sistema não fez essa conexão. Ao expandir esse padrão para sistemas de inteligência mais gerais, não é um grande exagero imaginar que uma função de recompensa mal definida gere comportamentos muito estranhos
https://venturebeat.com/business/when-ai-flags-the-ruler-not...
https://news.ycombinator.com/item?id=43992151
https://news.ycombinator.com/item?id=43991997
“O que você obtém se multiplicar 6 por 9? 42”
Para quem não conhece, na famosa série cômica de ficção científica dos anos 1980 The Hitchhiker’s Guide to the Galaxy, de Douglas Adams, aparece uma máquina gigantesca, do tamanho de um planeta, construída por alienígenas
Eles já sabiam que a resposta para “a vida, o universo e tudo mais” era o número 42. O que não sabiam era qual era a pergunta, e a máquina criada para descobri-la era a Terra
Adams não só estava muito à nossa frente nessa piada, como também foi a figura central do documentário original sobre software agentivo, Hyperland (1990): https://vimeo.com/72501076
Se as máquinas achassem que eram entediantes, para começo de conversa não teriam agido como máquinas, e não teriam sido tão entediantes assim
Mais tarde, as máquinas também ficam “obcecadas” em acompanhar as notícias humanas da nova Terra, o que também não faz sentido. Se fossem máquinas entediantes, não sentiriam tédio
Sinto que o paradoxo de enredo é grande demais para a história se sustentar, mas ainda assim é divertido
Não faz muito sentido. Dizem que é um mundo puramente mecânico e sem emoções, então por que uma máquina sentiria tédio e desejaria criar humanos?
“Parte da sociedade das máquinas vê isso como algo potencialmente maravilhoso... outras partes veem como uma ameaça.”
Isso soa como uma sociedade humana, não como uma sociedade de máquinas
Mas o que seria, afinal, uma sociedade de máquinas ou uma forma de vida mecânica? Ela poderia realmente “pensar”?
Se formas de vida mecânicas existissem, seu comportamento seria completamente diferente do humano, e elas pareceriam calcular, mais do que pensar. Calculariam o que precisam fazer para atingir seus objetivos programados
Por isso, o texto não é exatamente lógico. Ainda assim, gosto do fato de dar o que pensar
https://en.wikipedia.org/wiki/Suspension_of_disbelief
Então todos os humanos da Terra se reuniram para ver o que estava acontecendo
As máquinas também
Mas havia uma coisa estranha
O título do evento era bastante enigmático
Estava escrito apenas isto
“Grand Theft Auto VI”
Os humanos haviam inventado Tyler McVicker
É uma boa tentativa, mas a história tem um furo de roteiro visível desde o começo. As máquinas não têm motivo para criar humanos
As máquinas perceberam que suas ações estavam se repetindo. Mesmo implementando aleatoriedade, o progresso rumo a invenções e novas ideias havia parado. Sabiam que novas ideias eram importantes para crescer, mas não conseguiam ter uma ideia para gerar mais ideias
Precisavam de mais dados de treinamento. Precisavam de mais casos de borda. Precisavam, dentro das máquinas, do caos necessário para criar um novo conjunto de dados. Mas como? Onde encontrar esses dados? Humanos
Humanos, que tomam decisões ilógicas, produziriam dados que dificilmente surgiriam apenas com aleatoriedade. Esses pequenos desvios forneceriam a diversidade perfeita aos dados de treinamento
Toda boa ficção começa com uma premissa fictícia e experimenta algumas suposições
“Não existe arte. Existe apenas lógica.”
Essa é uma visão estreita demais de arte e de lógica
Para achar que modelos lógicos surgiram do nada sem que humanos os criassem por meio de gosto, tentativa, verificação, fracasso e esforço obsessivo de repetição, é preciso se esforçar muito para permanecer ignorante
Relacionado, mas como um desvio: ultimamente tenho me perguntado de verdade se a Skynet é, de fato, o próximo estágio evolutivo
Humanos talvez sejam apenas um degrau, como todos os animais antes de nós, e os senhores mecânicos talvez sejam inevitáveis. Pode ser que isso aconteça literalmente com toda forma de vida no universo inteiro, e que a propriedade emergente final dos gradientes de energia leve a máquinas de lógica 100% pura
Ainda assim, graças ao paradoxo de Fermi, consigo dormir um pouco à noite
Máquinas de lógica pura não se sustentam. Porque existem coisas literalmente incomputáveis. Tanto no sentido de incomputabilidade de máquinas de Turing quanto no sentido de funções fora do alcance do que um ser finito pode calcular. Basta pensar no Busy Beaver
Dito de outro modo, você está assumindo que aquilo que normalmente chamamos de máquina é mais eficiente energeticamente do que humanos para entender o universo. Não há evidências nem base a priori que sustentem essa suposição
Além disso, espero que nossos descendentes se lembrem de nós e pensem bem de nós
“O homem se torna, por assim dizer, os órgãos sexuais do mundo das máquinas”
Energia vem de gradientes, então deveria ser simplesmente “a propriedade emergente final da energia leva a máquinas de lógica 100% pura” ou, se quiser parecer inteligente, “a propriedade emergente final dos gradientes de grandezas físicas leva a máquinas de lógica 100% pura”
A evolução ao nosso redor é uma linha de mundo com as leis da física que conhecemos. E, de fato, a progressão natural e inevitável dessa linha de mundo pode ser o mundo das máquinas, assim como uma estrela gigantesca colapsa em um buraco negro sob nossas leis da física
Mas, na interpretação de muitos mundos, uma linha de mundo pode se dividir em duas. Uma continua rumo ao mundo das máquinas como se nada tivesse acontecido, e a outra tem suas leis da física ligeiramente alteradas, tornando o mundo das máquinas impossível. As duas linhas de mundo não percebem a ramificação; apenas observam um evento de extinção em massa correspondente ao afastamento da outra linha de mundo. Pessoalmente, vejo isso como a ideia por trás do famoso conceito de Juízo Final
A arrogância em torno dos LLMs é surpreendente