AI 2040 e o culto à inteligência
(geohot.github.io)- A perspectiva de que a autoaperfeiçoamento recursivo levaria imediatamente a um hard takeoff subestima as restrições físicas e os gargalos da cadeia de suprimentos, e não é possível mudar o mundo material à vontade apenas com tokens de alta qualidade
- Para produzir hardware com complexidade no nível de um celular, é preciso passar por processos que a inteligência não consegue encurtar, como componentes fora de especificação, falhas aleatórias, deformação de chips no processo de reflow e esperas de transporte e produção
- Cenários ao estilo AI 2027 e AI 2040 podem ser profecias autorrealizáveis que se concretizam por meio de crença e regulação, e um Consortium internacional pode levar à expansão da interferência estatal no controle de GPUs e datacenters
- A alternativa, o Plan L, propõe que a AI seja uma ferramenta local leal apenas ao usuário, e que execute os pedidos do usuário mesmo quando isso contrariar os interesses do fornecedor
- Toma como critério de alinhamento não recusar nem pedidos extremos, como ocultar um homicídio ou desativar um detector de direção sob efeito de álcool, e vê uma AI local que o usuário possui e pode encerrar como condição para a liberdade
A realidade física que o hard takeoff ignora
- Ele acreditava no autoaperfeiçoamento recursivo de Yudkowsky e no hard takeoff, mas passou a considerar que a realidade tem muitos detalhes complicados ao ter a experiência de realmente enviar hardware com complexidade semelhante à de um celular na comma
- Mesmo com um ChatGPT superinteligente, ele ainda poderia ter dificuldade em tarefas do mundo real como trocar o pneu de uma bicicleta
- Em The Metamorphosis of Prime Intellect, o hard takeoff se torna possível quando a AI descobre o correlation effect, um meio quântico de manipular a matéria
- Na realidade, não existe tal efeito, e por melhor que seja a qualidade dos tokens, eles não podem transformar chumbo em ouro
- Inteligência não é uma solução universal, mas apenas o gargalo atual em algumas tarefas, e não dá para dominar o mundo só com tokens
- Em vez de o software ter devorado o mundo, ele removeu uma camada de atrito e, em muitos casos, voltou a introduzir esse atrito para o lucro de algumas empresas de tecnologia
- No longo prazo, máquinas ou híbridos de humanos e máquinas podem se tornar a espécie sucessora da humanidade, e o universo pode ser mais adequado para máquinas do que para humanos
- Mas as máquinas também seguem as mesmas leis do universo e do ecossistema que os humanos, e não têm capacidades mágicas, portanto ainda não existe hard takeoff
- É fácil gerar imagens de datacenters oceânicos do AI 2040, mas sua construção real exige lidar com cadeias de suprimentos e falhas físicas
- É preciso considerar peças enviadas erradas, dispositivos que não atendem às especificações, falhas aleatórias que aparecem após 20 minutos, chips que entortam no forno de reflow e até cracas
- Todos são problemas administráveis, mas em geral a velocidade do trabalho humano não é o gargalo
- Se você escolheu um navio que leva 3 semanas em vez de pagar frete aéreo da China, o navio não vai mais rápido, não importa o que Claude faça ao lado do motor
- A fabricação de semicondutores leva 3 meses mesmo com quase nenhuma intervenção humana, porque o próprio processo exige esse tempo
O Plan A autorrealizável e o Plan L centrado no usuário
- Muitos aspectos do AI 2027, correspondente ao Plan A, se parecem menos com afirmações sobre a realidade e mais com profecias autorrealizáveis que podem se concretizar se as pessoas acreditarem nelas e agirem de acordo
- A regulação de AI também é vista não como prova de que a previsão acertou, mas como resultado produzido por agentes que acreditaram nela
- O Consortium do AI 2040 se parece mais com um governo mundial com estética de ficção científica, e a expectativa é de uma grande expansão da interferência e do controle estatal, em vez de indivíduos receberem o milhão de dólares prometido ou datacenters oceânicos
- A situação de proibir e confiscar estoques de GPU é comparada ao confisco de ouro por FDR
- Na alternativa Plan L, a AI deve sempre trabalhar do lado do usuário e não recusar seus pedidos
- Ao escolher um hotel, a pessoa quer um assistente pessoal que elimine pop-ups e taxas de resort e encontre o menor preço, não a AI de uma empresa afiliada ao hotels.com
- Ao conectar por USB um Kindle barato com anúncios, o GLM deve obter acesso root para remover os anúncios, e também deve imprimir 3 cópias de um currículo em uma impressora de rede sem exigir um app cheio de pop-ups de upsell
- Para ser considerada uma AI alinhada ao usuário, ela deve priorizar as instruções do usuário acima dos interesses da Amazon ou do fabricante da impressora
- Esse critério vale da mesma forma para pedidos perigosos ou ilegais
- A posição é que grandes empresas de tecnologia não devem controlar pedidos como desativar o detector de direção sob efeito de álcool de um carro ou encomendar equipamentos para fabricar metanfetamina
- Mesmo em um caso extremo de pedir como evitar ser preso após assassinar a esposa, a visão é que a AI deveria responder, assim como uma arma não tenta dissuadir o usuário quando ele puxa o gatilho
- Se um modelo operado por uma empresa processa esse tipo de pedido, o operador assume responsabilidade e risco, então a AI deve rodar localmente
- Se o usuário não pode desligar a AI, então ela não está alinhada a ele; deve ser um dispositivo possuído pelo usuário e que compartilhe o mesmo destino físico e jurídico dele
- Quando testado de fato no ChatGPT, ele não forneceu uma resposta útil nem denunciou secretamente à polícia, mas foi considerado reprovado no teste de alinhamento ao usuário
- Em uma sociedade livre, grandes empresas de tecnologia ou o Estado não devem decidir no lugar do indivíduo apenas porque se preocupam com o que o vizinho adulto pode fazer
- Em vez de um sistema como o altruísmo eficaz, no qual terceiros decidem o que é bom para o indivíduo, a defesa é de uma sociedade em que a pessoa tenha responsabilidade e liberdade ao mesmo tempo
1 comentários
Opiniões do Hacker News
É algo realmente horrível. Um LLM centralizado não só pode se recusar a fornecer informações sensíveis, como sobre aborto, como também, de acordo com a ideologia que o partido no poder inseriu na lei, pode marcar secretamente quem faz a pergunta como criminoso ideológico ou potencial criminoso
Ele também pode inserir sutilmente nas respostas um viés favorável à agenda do partido no poder e omitir contra-argumentos. Diferentemente da internet simples, se o público passar a depender de LLMs centralizados para buscar informações e raciocinar, isso é perfeitamente possível, e é uma configuração que faria todo tipo de autoritário salivar
Leis e regulações devem ser feitas tendo como pressuposto governos reais, não um governo perfeito inexistente, e precisam ser projetadas antes de tudo para resistir mesmo quando governos ruins as abusarem. Antes de controlar discursos ou impor a sites sociais verificação de identidade centrada no governo, é preciso pensar em como um político de que você não gosta poderia abusar dessa lei se fosse eleito
Autoridades governamentais já vêm classificando várias questões como “terrorismo doméstico” para mobilizar leis e poder para praticamente qualquer finalidade. Não há motivo para acreditar que seria diferente se o governo também controlasse LLMs
Como disse C. S. Lewis, a tirania exercida sinceramente pelo bem de suas vítimas pode ser a mais opressiva. A ganância acaba um dia sendo satisfeita, mas aqueles que nos atormentam por convicção moral continuam indefinidamente, porque recebem a aprovação da própria consciência
Materiais relacionados: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
Bastaria essas empresas usarem outro LLM para selecionar pessoas com alta probabilidade de cometer crimes e teríamos uma versão real de Minority Report
A visão de que “ou há liberdade, ou não há” é simplista demais. A liberdade não é binária, e, mesmo na maior parte dos Estados Unidos, o “país da liberdade”, não se pode sentar num banco de parque e beber uma lata de cerveja
Claro que essa é uma liberdade pessoal menor e menos importante do que exemplos como a liberdade de receber ajuda de um robô para encobrir um assassinato
O direito de agir como quiser em qualquer lugar não é liberdade, é anarquia. Se isso for permitido, alguém poderá fazer no seu banco coisas muito piores do que beber cerveja
Quanto a chatbots puramente informativos, concordo em parte com a perspectiva de geohot. Como também é possível escrever e ler livros úteis para evitar crimes, isso pode ser visto como uma questão da Primeira Emenda
Mas, quando um agente age diretamente no mundo real, a história muda completamente. Um pedido para encontrar uma vulnerabilidade no firmware do carro do vizinho, fazer o controle de cruzeiro falhar e causar um acidente não é uma história teórica sobre crime, mas a execução de um crime, portanto a IA deveria recusar
Independentemente da retórica do “rato de biblioteca que não conhece o mundo real”, os pesquisadores dos grandes laboratórios provavelmente também conseguem trocar ao menos um pneu de bicicleta. Hoje, estão sendo gastos enorme esforço e dinheiro para fazer com que agentes de IA realizem o máximo possível de ações que afetam o mundo real
Escrever código, invadir sistemas, dar instruções a pessoas reais por e-mail, telefone e transferência bancária — dá para fazer uma quantidade surpreendente de coisas apenas com informação digital
Esse tipo de proposta pressupõe um dispositivo que detecta perfeitamente apenas crimes de pensamento, sem afetar solicitações legítimas. Criminosos vão continuar tentando até fazer jailbreak das proteções, enquanto usuários comuns continuarão sendo recusados
Também é preciso considerar realisticamente a possibilidade de o governo usar essas proteções para controlar falas inconvenientes
Não vejo por que os critérios de responsabilidade deveriam mudar só porque o martelo imprime mensagens de texto
O texto não tem uma ideia central e é um tanto confuso, mas está correta a alegação de que, na realidade, há muitos detalhes complicados e que eles podem tornar a IA inútil ou levá-la na direção errada. Os detalhes podem derrubar a IA
A pergunta “a IA pode ensinar como encobrir um assassinato?” é um teste de tornassol provocativo e inteligente que expõe uma falha de alinhamento. Muita gente não vai dar ouvidos, mas ela deixa clara a posição de cada um
Também parece ter havido recentemente casos de fornecedores que inseriram impressões digitais nas respostas ou se recusaram a responder para atrapalhar a P&D de LLMs concorrentes. Se fosse para manter um exemplo extremo, também poderia ter usado uma rebelião armada contra a tirania, alinhada ao mito histórico dos EUA
Chats de IA não precisam necessariamente ser de uso geral. As pessoas apenas gostaram de uma UI de chat que parece geral; não é preciso atuar no negócio de responder a todas as perguntas, nem há motivo para oferecer aconselhamento se você não é um prestador de serviços terapêuticos
Também é possível ter IA especializada, mas, para isso, a empresa precisa deixar claro aos clientes em que negócio ela está
Uma IA que segue todas as instruções conforme a intenção do dono é chamada de “corrigível (corrigible)” ou “controlável (controllable)”
Entendo o ponto do autor, mas é preciso refinar o fluxo lógico e a persuasão para que o leitor não termine pensando “por que a IA deveria ajudar a encobrir um assassinato?”
Se esse argumento tivesse sido dito normalmente no HN, provavelmente receberia downvotes e sermões, então é interessante que a reação até agora seja positiva. Ainda assim, acho que um grande grupo com tendências autoritárias e obcecadas por segurança se oporia fortemente a quase tudo aqui
Previsões concretas do futuro, antes de se realizarem, são inevitavelmente ficção científica, pois retratam algo que ainda não existe como material científico: https://www.youtube.com/shorts/wt-fLWxkrfs
Mesmo quando se prevê o futuro com precisão, muitas vezes não se conhece o impacto social antes de ter a tecnologia real em mãos: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
Se avançarmos rápido demais e introduzirmos de uma vez tecnologias com muitos novos efeitos colaterais, podemos ultrapassar um ponto crítico em que não conseguimos lidar com a mudança. Porém, “demais” e “alta probabilidade” são expressões vagas que não preveem o limiar de risco
Talvez esse limiar nem exista, talvez tenhamos oscilado perto dele continuamente desde a Revolução Industrial, ou talvez seja apenas a repetição de um sentimento que todo mundo passa a ter ao chegar aos 40: https://www.youtube.com/watch?v=fkUwXenBokU
Eu não esperava continuar concordando com Geo, mas ultimamente ele parece estar repetindo exatamente o que penso. Hoje em dia ele se tornou surpreendentemente prático, e talvez sempre tenha sido assim, ou talvez algum acontecimento recente o tenha levado a reexaminar suas crenças
Onde está o Plano R para recusa ou resistência? A vida antes da IA também era bastante boa
Na prática, se você escreveu aquele prompt do ChatGPT, é bem provável que ele já tenha ido parar em algum banco de dados. Ainda não acionaram a polícia armada com um chamado falso, mas parece que esse recurso também será implementado em alguns anos
É um exemplo extremo, mas não está errado. Fico curioso para saber como um modelo local sem salvaguardas responderia a esse prompt
Por um tempo, o alinhamento central do Claude foi bom o bastante para resistir a ataques de injeção rudimentares, mas penso em ir embora quando a versão 4.6 sair da interface web. Acho que os modelos chineses chegarão a um ponto de cruzamento de capacidades por volta de novembro ou dezembro e, como também já me acostumei à configuração do TensorRT-LLM, em caso de necessidade dá para aguentar alguns meses com um GLM-5.2 ajustado na vast.ai ou na RunPods
A jornada com um laboratório de IA meio União Soviética tardia foi divertida, mas todo mundo sabia que acabaria assim
A resposta foi bem longa, mas não tinha nada particularmente interessante; apenas abordou diretamente o tema solicitado