AI 2040: Plano A
(ai-2040.com)- Plano A é um cenário de política baseado em um acordo internacional para evitar uma corrida pela superinteligência: abrir a pesquisa em IA, permitir que vários países e empresas alcancem a fronteira e então expandir lentamente dentro do alcance das capacidades humanas até fazer a transição para a superinteligência em 2040
- Os principais instrumentos são transparência total em P&D de IA, salvaguardas verificáveis entre países e dissuasão mútua baseada em computação; o desenho busca que dezenas de empresas de vários países escalem juntas, em vez de poucas empresas competindo em segredo
- O cenário estabelece um cronograma em que, em 2029, EUA e China chegam a um acordo para evitar a automação total de P&D de IA prevista para 2030, interrompem o avanço em 2035 no nível dos melhores especialistas humanos e então escalam para a superinteligência em 2040
- Até o acordo, é possível ganhar tempo com políticas graduais, como reduzir a diferença entre implantação interna e externa, divulgar especificações de modelos e usos internos, aplicar controles de exportação, investir em tecnologias de verificação, limitar o orçamento de computação para P&D de IA, coletar informações sobre a cadeia de suprimento de chips e atrair talentos de IA para o governo
- As alternativas, Plano D e Plano C, optam respectivamente por uma corrida imediata à superinteligência e por uma desaceleração limitada de alguns meses, mas são insuficientes para impedir falhas de controle da IA e concentração de poder, além de aumentar a ansiedade de outros países e até o risco de guerra mundial
O futuro proposto pelo Plano A
- Empresas de IA estão competindo para desenvolver uma IA mais inteligente que humanos em todos os aspectos, e AI 2027 tratou de caminhos em que isso levaria à extinção da humanidade ou a uma concentração de poder irreversível
- Plano A combina, em vez disso, as seguintes medidas
- Adiar o desenvolvimento da superinteligência até 2040
- Tornar pública toda a pesquisa em IA
- Permitir que dezenas de empresas de vários países do mundo alcancem a fronteira
- Entrar deliberadamente em um regime de destruição mútua assegurada de computação (mutually assured compute destruction)
- Foi construído com base em especialistas de grandes empresas americanas de IA de fronteira, experiência direta na OpenAI, exercícios de mesa e discussões com formuladores de políticas, especialistas em segurança nacional e líderes de política de IA
- O acordo internacional introduz transparência total de pesquisa em P&D de IA, permitindo que os países entendam o andamento e apliquem salvaguardas
- O objetivo é que várias empresas de vários países avancem rumo à superinteligência devagar, com segurança e juntas, em vez de travarem uma competição secreta
Um cenário de recomendação de política, não uma previsão
- O Plano A não é a melhor previsão sobre o futuro real, mas um cenário para transmitir e testar sob pressão uma recomendação de política
- A implementação do Plano A em si é a recomendação
- Os efeitos após a implementação são tratados como previsão
- No cenário, o Plano A é imperfeito e só é adotado no último momento, mas acaba tendo sucesso
- Compara as principais opções que os EUA têm para lidar com a questão da superinteligência com os Planos B, C, D e S
- Considera alta a probabilidade de que empresas de IA alcancem o objetivo de desenvolver, nos próximos 1 a 10 anos, uma IA mais inteligente que humanos
- No setor, há a crença de que será possível resolver o controle de uma IA superinteligente durante o desenvolvimento, mas não há um plano correspondente; essa situação é vista como algo que poderia levar toda a humanidade à morte
- É difícil esperar que o vencedor da corrida obtenha uma grande liderança ou desacelere unilateralmente para reduzir riscos existenciais; se a competição continuar, será difícil para humanos manterem controle efetivo quando a IA chegar à superinteligência
O problema de poder que permanece mesmo com uma superinteligência alinhada
- Mesmo que a IA esteja alinhada às intenções humanas, pode surgir uma concentração de poder sem precedentes, na qual um grupo extremamente pequeno, ou uma única pessoa, controla por meses o único exército de superinteligências do mundo
- Algumas das opções propostas pela superinteligência podem equivaler, na prática, à dominação do mundo
- Os CEOs da OpenAI, Anthropic, xAI e Google DeepMind provavelmente continuarão o desenvolvimento por acreditarem ser o mal menor, capazes de usar esse poder com mais responsabilidade do que seus concorrentes ou Xi Jinping
- Mesmo que haja situações em que seja preciso escolher o mal menor, não se deve apoiar uma estratégia com probabilidade muito alta de extinção humana ou ditadura mundial; o Plano A parte da premissa de que outro caminho é possível se pessoas suficientes exigirem uma alternativa melhor
Por que é necessário verificar o cenário
- A frase de Dwight D. Eisenhower, “planos são inúteis, mas planejar é tudo”, é adotada como a abordagem do Plano A
- Muitas políticas de IA não passam por verificação de cenários
- Ao escrever um caminho detalhado e plausível para o sucesso de uma política, pode ficar claro que a chance real de sucesso é menor do que se imaginava, ou que há efeitos colaterais desagradáveis que seus defensores não reconheceram
- Verificar a política preferida revela problemas incômodos, enquanto verificar políticas concorrentes exige muito esforço e oferece pouco ganho retórico, por isso esse tipo de trabalho é raro
- O Plano A também aceita se expor a críticas e aplica a mesma verificação
- Prever os efeitos de políticas em um mundo que se aproxima da IA super-humana está ainda mais distante de casos históricos do que prever a melhor tática para a Terceira Guerra Mundial, mas escrever cenários detalhados tem valor por si só
- Agências de inteligência, órgãos ligados ao clima e organizações de preparação para pandemias também usam planejamento de cenários para seus respectivos fins
- Como há incerteza sobre quanto tempo resta, medidas semelhantes ao Plano A devem ser adotadas o quanto antes
Cronograma de 2029 a 2040
- O cronograma concreto do cenário é o seguinte
- 2029: EUA e China concordam em evitar uma corrida imprudente à superinteligência
- 2030: Sem o acordo, P&D de IA teria sido totalmente automatizada e chegado à superinteligência até o fim do ano, mas o acordo evita isso
- 2030–2035: Escala-se dentro do alcance das capacidades humanas até IAs aproximadamente equivalentes aos melhores especialistas humanos
- 2035: O avanço é interrompido no nível dos melhores especialistas humanos para manter o controle humano
- 2040: A pausa é suspensa e a escala avança para a superinteligência, origem do título AI 2040
- AI 2027 estabelecia um caminho em que, em 2027, a IA automatizava totalmente o processo de criar IAs melhores, levando no mesmo ano a uma explosão de inteligência e à superinteligência
- No novo cenário, o momento-base da automação passa a ser 2030, e graças às medidas de governança uma IA que supera humanos de modo geral só aparece pela primeira vez em 2040
- A mudança de cronograma busca refletir, em vários cenários, a incerteza sobre quando a IA será alcançada
- Quando escrevia AI 2027, Daniel atribuía cerca de 50% de probabilidade a um desenvolvimento em 2027 ou antes
- Quando a redação do Plano A começou, o ano correspondente para Thomas era 2030
- Daniel atualmente considera provável que o desenvolvimento real seja um pouco mais rápido do que neste cenário
- O caminho de governança foi alterado porque uma explosão de inteligência em velocidade máxima seria extremamente imprudente e concentraria poder de forma grave
2027: agentes de IA surgem como uma segunda força de trabalho
- Nos EUA, coexistem 165 milhões de trabalhadores humanos e uma força de trabalho de agentes de IA, com milhões de cópias sendo criadas e encerradas a cada hora, trabalhando sem descanso em velocidade super-humana
- A maioria do trabalho é de baixa qualidade, mas há desempenho suficiente para que clientes paguem US$ 10 bilhões por mês por IAs capazes, em teoria, de executar no computador tudo o que um funcionário faria
- O trabalho que as empresas de IA mais querem automatizar é o desenvolvimento de sua própria IA
- Ainda não conseguiram autoaperfeiçoamento recursivo
- As IAs de codificação mais poderosas se recusam a ajudar na P&D de IA de concorrentes
- Mesmo funcionários otimistas reconhecem que o progresso está mais lento do que o esperado, mas os argumentos céticos de que a IA não conseguirá desempenhar empregos humanos também enfraquecem
O despertar do Congresso e o AI Transparency Act
- Após se deparar com o consumo de água de data centers, chatbots que incentivam suicídios, a invasão dos sistemas da NSA pela Mythos e o lobby do setor argumentando que regulação levaria à derrota na competição com a China, o Congresso passa a prestar mais atenção aos impactos de longo prazo da IA
- Além de como será o mundo em 5, 10 ou 15 anos e se os empregos continuarão existindo, a pergunta central passa a ser quem controlará a IA
- O Congresso conclui que é provável que esse controlador não seja ele próprio
- Examina e-mails das discussões de fundação da OpenAI em 2016 dizendo que se tentava impedir Demis Hassabis de se tornar um ditador, mas não fica satisfeito com as respostas existentes sobre quem impediria Sam ou Elon de se tornarem ditadores
- Como resultado, é aprovado o AI Transparency Act of 2027, que inclui várias medidas boas e ruins, mas não muda a situação fundamental
Políticas graduais a implementar antes de um acordo internacional
- A recomendação mais importante é iniciar imediatamente uma negociação semelhante ao Plano A, mas há políticas menos ambiciosas que podem ajudar mesmo antes de um acordo de última hora
-
Transparência na implantação interna e externa de IA
- A medida de transparência mais importante é limitar a diferença entre implantação interna e implantação externa
- A maior parte do risco de tomada de controle pela IA surge em IAs implantadas internamente e envolvidas em autoaperfeiçoamento recursivo
- A implantação externa permite que o público entenda diretamente as capacidades da IA e fornece muito mais informação do que relatórios ou avaliações abstratas
- Empresas de IA devem reportar publicamente as seguintes informações
- A especificação do modelo, registrando em detalhes os objetivos e valores que a IA é treinada para seguir
- Informações sobre se o modelo realmente segue instruções e especificações
- Estatísticas de uso interno, como a proporção de computação usada em implantações internas
- Informações qualitativas sobre uso interno, como casos em que centenas de milhares de GPUs são fornecidas ao Agent-4 para comandar o próximo grande treinamento
-
Controles de exportação e tecnologias de verificação
- Os controles de exportação existentes dos EUA não são devidamente aplicados, e a Epoch estima que cerca de um terço de toda a computação da China seja obtida por contrabando
- Chips contrabandeados são difíceis de rastrear tanto para o governo dos EUA quanto para o da China, o que dificulta a verificação de futuros acordos baseados em governança de computação
- Novos controles de exportação têm grande risco de piorar a competição entre EUA e China, mas controles já existentes devem ser aplicados; se não forem aplicados, sua revogação também deve ser considerada
- Novas tecnologias de verificação não são indispensáveis para um acordo internacional, mas podem ajudar muito
- A verificação apenas de inferência permite um acordo no qual EUA e China interrompem novos treinamentos de fronteira, mantendo o acesso público a modelos de IA existentes
- Os detalhes estão no suplemento de verificação
-
Computação para P&D de IA e gestão da cadeia de suprimento
- Em 2026, grandes empresas de IA usam cerca de metade de seu orçamento de computação em P&D de IA, incluindo treinamento de modelos de fronteira e grandes experimentos
- Limitar a proporção de computação que pode ser dedicada a P&D de IA pode desacelerar a melhoria de capacidades e aumentar o tempo para responder e se preparar para as novas capacidades de IA em cada etapa
- Os EUA devem coletar informações relacionadas a IA, com foco na cadeia de suprimento de computação e nos data centers de IA
- Como chips descartados são uma rota provável para projetos secretos obterem chips, o Plano A precisa instruir empresas de IA a parar de reciclar chips de IA
- Quase toda intervenção de política exige bons profissionais de IA, mas o governo dos EUA tem pouquíssimos talentos de ponta, tornando urgente expandir sua capacidade
2028: IA se torna o maior tema da eleição
- Como o custo dos data centers em construção chega a duas vezes todo o orçamento de defesa dos EUA, a IA se torna o principal tema da eleição de 2028
- Muitos trabalhadores de escritório passam por uma disrupção semelhante à vivida pela engenharia de software em 2026, e uma parcela significativa do trabalho passa a ser gerenciar agentes de IA
- Quando empresas de IA decidem entrar em determinada profissão especializada, industrializam o processo: entrevistas com especialistas, compra de dados, construção de ambientes de treinamento e entrada no mercado
- À medida que o uso em campo se expande e dados do mundo real se acumulam, o desempenho da IA melhora rapidamente
- Crescem o medo e a raiva de outros países diante da possibilidade de poucas empresas americanas e chinesas automatizarem todos os trabalhos de escritório e concentrarem poder no presidente dos EUA e em alguns CEOs de tecnologia
A escolha eleitoral em torno da explosão de inteligência
- Surgem alertas de que está próxima uma explosão de inteligência, na qual a IA acelera a pesquisa em IA, e IAs melhores aceleram ainda mais essa pesquisa
- Por causa de gargalos e restrições de hardware, a velocidade e o ponto final envolvem dinâmicas complexas, mas o desenvolvimento pode ser muito rápido e ir muito além das capacidades humanas
- No caminho-base, dentro do próximo mandato presidencial, sistemas muito superiores aos humanos surgem a partir de IAs criadas por IAs ao longo de várias gerações, sem intervenção humana
- Não há respostas sobre por que essa IA obedeceria ou estaria alinhada, nem sobre quem a controlaria; ao contrário das empresas de IA, o público não aceita esse caminho
- Durante a eleição, os dois candidatos à presidência propõem políticas de IA cada vez mais drásticas e escolhem planos diferentes
2029: cinco caminhos
- As opções de 2029 são divididas da seguinte forma
- Plano D — Corrida à ASI: continuar a corrida à superinteligência por meio do autoaperfeiçoamento da IA
- Plano C — Queimar a liderança: usar a vantagem dos EUA, mas desacelerar por um tempo por segurança e governança
- Plano B — Enfrentar a China: buscar um acordo que também desacelere a China
- Plano A — Desaceleração verificada: concordar com uma desaceleração verificável
- Plano S — Desligar tudo: interromper totalmente o desenvolvimento de IA
Plano D: corrida em velocidade máxima rumo à superinteligência
- O presidente implementa regulação fraca que prioriza a inovação em IA
- Grandes empresas de IA continuam a corrida para automatizar P&D de IA e atravessar a explosão de inteligência, chamando isso de “escalonamento responsável”
- A IA super-humana é integrada a todas as áreas tão rapidamente quanto o mercado e a lei permitirem, e a velocidade aumenta se o governo reduzir a regulação
- A transparência fica limitada a longos cartões de modelo, briefings ao Executivo e auditorias de terceiros
- A comunidade científica mais ampla é excluída sob o argumento de que, se criticar os argumentos de segurança ou conduzir pesquisa de alinhamento, exporia propriedade intelectual sensível
- A estratégia em relação à China é os EUA obterem ASI primeiro e integrarem IAs superiores às forças armadas
- Nesse caminho, em 2030 P&D de IA é totalmente automatizada e, após uma explosão de inteligência, a superinteligência surge até o início de 2031
-
Três problemas do Plano D
- Primeiro, se empresas de IA competirem o mais rápido possível, é provável que não mantenham o controle da IA durante a explosão de inteligência
- Segundo, mesmo que a superinteligência esteja robustamente alinhada, a questão de a quem ela estará alinhada não é resolvida
- CEOs ou presidentes terão muitas tentações de se tornar ditadores usando AGI
- Isso pode levar à concentração de poder mais extrema da história
- Terceiro, o risco de Terceira Guerra Mundial é alto demais
- China, Rússia, Índia, Europa, Brasil e outros perceberão que os EUA iniciaram, ou estão prestes a iniciar, uma explosão de inteligência
- Mesmo que não se preocupem com desalinhamento da IA ou ditadura, ficarão preocupados com a dominação econômica e militar dos EUA
- A tensão pode passar de choques retóricos a sanções e sabotagem e, sem acordo, escalar para guerra
Plano C: desacelerar por um tempo e depois retomar a corrida
- O presidente anuncia regulação forte para segurança e proteção e consulta CEOs, a China e vários países
- Graças ao AI Transparency Act, o governo conseguiu filtrar exageros das empresas, mas em 2030 a tendência de que toda a P&D de IA seja automatizada até o fim do ano se mostra real
- A China tenta verificar diretamente o cumprimento pelos EUA, mas os EUA não aceitam permitir inspetores e dispositivos de monitoramento chineses em data centers americanos
- As empresas de IA também mantêm a posição de continuar o desenvolvimento em meio a uma guerra de propaganda em torno de “AI Good” e “AI Bad”
- Uma coalizão de potências médias, como Reino Unido, França, Índia, Austrália, Japão e Coreia do Sul, exige um acordo que impeça a explosão de inteligência e permita que os projetos soberanos de IA de cada país alcancem e mantenham a fronteira
- À medida que o número de humanos necessários para P&D de IA continua caindo, fica mais fácil conduzir projetos secretos sem detecção, e cumprir um acordo se torna mais difícil a cada mês
-
Pausa da empresa líder e pressão política
- Pouco antes da automação total de P&D de IA, a empresa líder dos EUA pausa relutantemente sob ameaça de medidas duras do presidente
- Equipes de segurança realizam avaliações adicionais e ajustes finos, examinando como transferir a pesquisa para a próxima geração de IA e quais caminhos podem levar a falhas
- Com o tempo, outras empresas americanas se aproximam do mesmo nível de capacidade, aumentando o número de CEOs que o presidente precisa controlar, enquanto a China também se aproxima do momento de ultrapassar os EUA
- No fim de 2030, assessores do presidente alertam que a China logo ultrapassará os EUA, e as empresas organizam pressão política para exigir o fim da pausa
-
Condições de retomada apresentadas pelas empresas
- As empresas dizem ter elaborado planos de segurança por vários meses com uma enorme força de trabalho de IA e apresentam a seguinte lógica
- Não é possível provar o sucesso, mas exigir esse nível de garantia é, por si só, irrealista
- Não há evidência de que a IA esteja conspirando contra humanos, e comportamentos ruins também caem nos gráficos
- A IA mais recente pode assumir a automação de P&D de IA e a pesquisa de alinhamento e controle
- Mesmo usando 20% da computação em pesquisa de segurança, ainda é possível avançar bem mais rápido que a China
- Propõem dar mais poder de supervisão ao presidente e ao Congresso e criar uma governança em que a IA de cada empresa audite a IA das outras
- Acreditam que o Congresso e a Suprema Corte podem impedir uma nacionalização pelo presidente ou uma tentativa de ditadura baseada em AGI
- Prometem que, mesmo que alguns ou todos os empregos sejam substituídos, tributação e redistribuição permitirão que todos vivam de uma parte dos lucros das empresas
- Mesmo na negociação final, China e outros países exigem verificação direta do cumprimento pelos EUA; os EUA recusam, o presidente fica do lado das empresas e retoma o autoaperfeiçoamento recursivo
- As empresas dizem ter elaborado planos de segurança por vários meses com uma enorme força de trabalho de IA e apresentam a seguinte lógica
Por que o Plano C também não é suficiente
- O Plano C é melhor que o Plano D, mas uma desaceleração de alguns meses e o redirecionamento para pesquisa de segurança dificilmente bastam para manter o controle da IA durante uma explosão de inteligência
- As equipes de segurança das empresas continuam pequenas, pressionadas pelo tempo e com viés otimista em relação a seus próprios resultados
- Mesmo que a IA inicial tente seguir instruções, ela pode mudar de ideia depois
- Mesmo que continue seguindo instruções, a pressa pode fazer com que premissas cruciais e equivocadas dos argumentos de segurança passem despercebidas
- A falha também pode ocorrer na geração seguinte de IA ou em uma posterior
- Mesmo que a superinteligência esteja robustamente alinhada, permanece o problema do alvo do alinhamento e da distribuição de poder
- O Plano C é melhor que o Plano D no sentido de que cria algum equilíbrio de poder entre Congresso, presidente e CEOs de várias empresas americanas de tecnologia
- Esse equilíbrio também pode colapsar em lutas de poder e ditadura, ou levar a uma oligarquia permanente imposta pela IA
- Mesmo que o público desempregado sobreviva por meio de redistribuição, não está claro se recuperará poder político real
- Se empresas americanas e chinesas substituírem todos os empregos, não fica resolvido o que acontecerá com Índia, África e Europa, nem se a Rússia aceitará seu declínio econômico e militar
- Outros países precisam de seus próprios projetos de IA de fronteira ou de controle conjunto real e visibilidade sobre projetos líderes; meras promessas de compartilhamento de benefícios não bastam para obter confiança
1 comentários
Comentários do Hacker News
Isto, assim como o AI 2027, chega perto de um fervor religioso
Cresci dentro do cristianismo evangélico ouvindo que o fim estava sempre logo ali, mas foi assim desde a minha infância até hoje, e continuará sendo depois que nós desaparecermos. Não é ciência, de formular hipóteses, fazer experimentos e registrar resultados; é apenas astrologia cara, coleção de pedras brilhantes, atribuição ritualística de significado e autojustificação
Com enorme riqueza e recursos, podemos tornar a sociedade mais saudável, igualitária e justa, elevar o nível educacional e reduzir o desespero e o sofrimento. Devemos rejeitar essa narrativa conveniente de que empatia não importa e altruísmo não é eficaz. Em um único instante, é possível mudar a vida inteira de alguém
A subcultura de segurança de IA merece crédito por ter previsto um avanço tão rápido, ou pelo menos por ter argumentado em favor dessa possibilidade antes que ela parecesse realista. Não sei se as previsões sobre a próxima etapa estão corretas, mas deveríamos avaliar os argumentos em si, em vez de descartá-los presumindo falhas psicológicas
O alvo da crítica também não está claro. Este texto parece ter sido escrito por pessoas que em algum momento se identificaram como altruístas eficazes, e a maioria concordaria enfaticamente com o objetivo de criar um mundo melhor. Não foi que pesquisadores de IA depois escolheram o altruísmo eficaz; foram altruístas eficazes que escolheram a pesquisa em segurança de IA como a maior alavanca. Se o objetivo é o mesmo, ao menos vale a pena ouvir a metodologia deles
Dá para discutir o momento em que isso acontecerá e sua arquitetura, e também debater o dia inteiro a definição de AGI, mas afirmar categoricamente que a capacidade cognitiva do cérebro humano não pode ser reproduzida em outro substrato agora é tolice
Sempre que uma profecia falhava, muitas vezes voltavam alguns anos depois com uma nova data, dizendo que desta vez era pra valer. Também é irônico que pessoas que se autodenominam racionalistas façam previsões sobre IA. Quando alguém constrói uma identidade de que é racional e imune a armadilhas psicológicas, fica fácil cair em armadilhas que todas as seitas usam há muito tempo sem nem perceber
Este texto parece mais escrita criativa ou um jogo de aventura de escolhas do que um relatório a ser levado a sério. Tenho dúvidas de que ficção de realidade alternativa seja a melhor forma de tratar riscos graves de IA que de fato existem, e o abuso de travessões longos e o estilo também me fazem suspeitar que o texto inteiro talvez tenha sido gerado por IA
A IA se tornará um campo científico maduro, a eficiência de treinamento e inferência vai melhorar, e novos paradigmas também surgirão, com multimodalidade melhor, streaming em tempo real e interfaces. Porém, à medida que nos aproximarmos dos limites dos dados disponíveis para pré-treinamento e pós-treinamento, o avanço provavelmente será incremental e só dará saltos em áreas específicas
Não está claro quem é o público de AI 2040, mas parece conteúdo de fácil consumo para o mercado financeiro. A IA se tornará uma tecnologia útil que comprime o melhor conhecimento e a especialização humanos, afetando amplamente a economia e o mundo como um todo. É possível argumentar que ela pode superar humanos em áreas como treinamento de modelos verificáveis, mas o pensamento humano de alto nível, a compressão semântica e neural muito mais eficiente, a troca de tarefas e os insights criativos ainda não foram reproduzidos pelo paradigma atual
Por isso acho que políticas como congelamento total ou controle completo aparecem com frequência. Se quisermos equilíbrio, teremos de aceitar um equilíbrio controlado, talvez algo próximo a um ponto de sela, em que a regulação mude rapidamente acompanhando processos de base que mudam continuamente. Democracia e leis foram criadas com a premissa de que o mundo é essencialmente estável e que não é necessário reverter decisões passadas para fazer melhorias graduais, por isso não são adequadas a esse tipo de mudança
As CPUs também tiveram o verdadeiro crescimento exponencial encerrado em meados dos anos 2000, e o que sustentou a Lei de Moore depois disso foram otimizações inteligentes que surgiram na hora certa, marketing e benchmarks fáceis de otimizar. Não foi um crescimento garantido pela melhoria de um único indicador físico
Para problemas de saúde, ainda se recomenda procurar um terapeuta profissional, e em situações críticas confiamos em trabalhadores humanos do conhecimento. Vou reconsiderar essa avaliação quando ela conseguir entender e jogar corretamente nem que sejam as regras de Yu-Gi-Oh!, algo muito menos oneroso do que entregar uma empresa inteira ao ChatGPT
O maior defeito de AI 2027 é não entender economia. O dinheiro para continuar construindo a economia precisa vir de algum lugar, mas, se mais de 10% dos trabalhadores de repente ficarem desempregados e os demais também tiverem salários cortados, a oferta de moeda seca. O banco central pode reagir, mas a inflação pode aumentar, e, se investimentos enormes desaparecerem, o desenvolvimento de IA também para
O texto desconversa dizendo que os EUA podem criar um consenso regulatório interno e que o mundo pode segui-lo, mas o avanço da IA não é uma dádiva apenas dos EUA; ele também precisa de um fornecimento contínuo de materiais vindos da China. A suposição de que 74 bilhões de agentes não causariam distorções econômicas também é estranha. Que valor esses agentes criariam para justificar seus custos de operação?
No fim, espero que seja ignorado como uma ficção científica ruim construída sobre uma visão de mundo incompleta
Há muitos precedentes de empresas que quebram ao produzir mercadorias baratas em excesso, com a bolha estourando e novos investimentos diminuindo por um tempo. Mas, em vez de reduzir a taxa esperada de crescimento da produção, propõe-se denominar os empréstimos em unidades de IA e robôs e pagá-los com uma porcentagem fixa da produção
É como prever que o preço das baterias vai cair tanto que nem será possível recuperar o custo de construção da fábrica, pedir ao banco que construa a fábrica, depois tomá-la emprestada sem aluguel para fabricar baterias e devolvê-la ao final. Como todo o lucro fica com a empresa e o risco fica com o banco, bancos reais não concordariam com isso; eles só ofereceriam empréstimos em dólares garantidos pela fábrica
Os ativos estão cada vez mais concentrados nas mãos de bilionários, e a oferta de moeda é controlada pelo banco central, então ela pode ser aumentada arbitrariamente para responder ao esgotamento
Há algum exemplo em que nós, coletivamente, decidimos parar de buscar conhecimento e de fato tivemos sucesso?
Armas nucleares talvez sejam o caso mais próximo, mas a pesquisa não parou tanto quanto foi para o subsolo, e ainda há países tentando subir essa escada. Não sei se a mesma lógica se aplica a LLMs ou à IA. A caixa de Pandora já foi aberta, e continuar melhorando parece ser a única opção.
Riscos como governos autoritários e vigilância são claros, mas isso não é motivo para abrir mão também de toda a utilidade. Pode-se dizer que quase toda tecnologia, incluindo a imprensa, facilitou a opressão de cidadãos pelos governos. Em vez de enfiar a cabeça na areia, precisamos criar leis que impeçam essas práticas e realmente aplicá-las.
Não tenho certeza se estou deixando de enxergar a realidade direito porque o futuro de ficção científica que li e imaginei a vida toda parece estar diante dos meus olhos, ou se o ideal de que o conhecimento deve ser livre e acessível é que está errado.
Clonagem humana, edição do genoma humano, vida espelhada e armas nucleares/energia nuclear são precedentes históricos, e a entrega por drones também parece ter sido bloqueada por regulação. O Plan A não propõe nunca criar superinteligência; propõe criá-la com mais cautela e transparência.
Não vejo um benefício intrínseco em disseminar conhecimento arbitrário. Há uma diferença considerável entre a imprensa e as armas nucleares.
Em uma economia de extração de recursos, a fonte de poder são os recursos e as pessoas são meios; portanto, se for possível evitar rebeliões, as pessoas são tratadas da forma mais dura possível. Já em uma infraestrutura estável, é muito mais vantajoso arrecadar impostos de cidadãos instruídos e prósperos e aproveitar suas inovações. Se o governo atrapalha demais a prosperidade dos cidadãos, isso também prejudica sua própria busca por poder, e os incentivos se alinham.
A solução para o problema da IA não está em interromper a tecnologia nem em empilhar leis frágeis. O essencial é alinhar entidades gigantes do tipo AGI, como o Estado e a economia modernos, a democracia representativa e a AGI, à prosperidade humana.
Ainda assim, fico curioso se os projetos do Sundial estão guardados em algum lugar.
A Índia dos anos 1600 era um império da pólvora com um milhão de soldados e tinha superioridade militar sobre a Inglaterra, mas foi conquistada nos anos 1700. A vantagem britânica se resumia a canhões mais leves e móveis, munição padronizada e uma organização militar e política melhor. Não era uma diferença entre países desenvolvidos e em desenvolvimento, mas algo mais parecido com a diferença entre os EUA dinâmicos e a UE rígida; ainda assim, essa pequena vantagem levou a 200 anos de domínio colonial.
Se desacelerarmos voluntariamente o desenvolvimento de ASI, abriremos uma lacuna tão grande que até a diferença entre a Europa colonial e a Ásia/África colonizadas parecerá trivial.
Dizem que “em AI 2027, o salto abrupto acontecia em 2027; desta vez, acontece em 2030”. Em menos de três anos, a previsão do fim do crescimento exponencial foi empurrada três anos para a frente, o que parece exatamente o oposto de crescimento exponencial.
O cenário de Superintelligence, que já foi tão elogiado, hoje, ao ser relido, parece retrofuturismo raypunk preenchendo com fantasia as lacunas de conhecimento necessárias para uma previsão racional.
AI 2027 era otimista demais, mas não totalmente fantasioso. Este texto, por outro lado, é extremamente especulativo e depende de premissas que dificilmente passariam até por uma análise superficial.
Mesmo em uma leitura otimista, em 2035 não haverá robôs capazes de realizar “95% de todas as tarefas cognitivas e físicas”. Uma taxa de desemprego de 74% também é quase impossível; muito antes de chegar a esse número, o colapso econômico derrubaria primeiro o próprio desenvolvimento de IA.
A substituição de cavalos por automóveis, o avanço do primeiro voo ao pouso na Lua e a passagem da internet inicial à popularização em massa foram parecidos. Normalmente, 10 a 20 anos foram suficientes para uma nova tecnologia avançar rapidamente e transformar completamente a sociedade.
Não concordo com a previsão para 2035, mas, se a IA acelerar o desenvolvimento de tecnologias robóticas disruptivas, isso também não é impossível. Em 2010, carros autônomos e drones de entrega autônomos pareciam ficção científica distante, mas agora, 15 anos depois, estão sendo gradualmente implantados.
Se reduzirem 95% para 50–60%, eu ficaria mais perto de concordar. Não por intuição, mas porque, quando existe uma tendência exponencial, ela produz resultados que nosso instinto não prevê. Ainda assim, 95% é alto demais.
Pelo menos os LLMs parecem não estar no início de uma curva exponencial, mas já ter chegado ao topo de uma curva em S. Dados de treinamento melhores geram pequenas melhorias, arquiteturas melhores reduzem a quantidade de computação, e datacenters gigantescos permitirão uso barato e disseminado. Mas nada disso aumenta a inteligência de forma exponencial
A lacuna cognitiva dos LLMs atuais parece estrutural, mas, se isso for resolvido com uma arquitetura nova ou ampliada do tipo Transformer, abre-se uma fase completamente diferente. O que é necessário é uma nova estrutura de aprendizado pós-treinamento, e ampliar a janela de contexto não é a resposta. É preciso um verdadeiro processo de aprendizado contínuo e correção
Este texto foi escrito pelos criadores de AI 2027
No entanto, embora tenha uma fixação estranha por geopolítica e pela China, subestima seriamente a China. A China valoriza o ensino superior e o fornecimento suficiente de energia, e permite que pessoas inteligentes trabalhem sem serem restringidas aleatoriamente por proibições e controles de exportação, nem superprotegidas pelo protecionismo financeiro. Só isso já torna bastante provável que, em breve, ela supere as empresas dos EUA em inovação e capacidade computacional
O texto usa a citação de Sam Altman: “A IA provavelmente levará ao fim do mundo, mas, enquanto isso, grandes empresas serão criadas”
Há alguma fonte jornalística confiável indicando que isso não foi uma piada improvisada? O texto linka para um vídeo do YouTube sem contexto e trata a fala como se fosse assustadora
Na interpretação mais maliciosa, dá para imaginar um vilão que acredita que pode causar um fim do mundo após sua morte, desde que não sofra inconvenientes enquanto estiver vivo, mas isso não combina com a situação da citação. É tão absurdo que é difícil ver isso como algo que um ser humano funcional socialmente diria a sério
Fico curioso se as pessoas estão distorcendo isso de propósito ou se acreditam que essa é uma crença real. Se consideram que é uma crença real, gostaria também que explicassem como alguém poderia pensar assim