Cenário AI 2027

• O AI 2027 é um cenário baseado na previsão de que, nos próximos 10 anos, a superinteligência sobre-humana (Superhuman AI) terá um impacto maior do que o da Revolução Industrial
• Os CEOs da OpenAI, Google DeepMind e Anthropic preveem que a AGI (inteligência artificial geral) chegará dentro de 5 anos
• Sam Altman afirmou que o objetivo da OpenAI é a superinteligência (superintelligence) no verdadeiro sentido da palavra

• Método de elaboração do cenário

  • Este cenário foi construído com base em tendências, wargames, feedback de especialistas, experiência da OpenAI e desempenho passado em previsões
  • Foi escrito de forma a ser expandido periodicamente, começando com os acontecimentos até meados de 2025
  • Ao final, apresenta duas versões de desfecho: uma de “desaceleração (Slowdown)” e outra de “corrida (Race)”
  • Ele não foi criado com um desfecho específico em mente; cada caminho parte das mesmas premissas e desenha futuros opostos

• Objetivo do cenário e valor de uso

  • Para resolver o problema de que previsões sobre o futuro da IA costumam ser vagas, ele tenta fazer descrições o mais concretas e quantitativas possível
  • O objetivo não é fazer recomendações simples, mas prever o futuro com a maior precisão possível
  • Busca incentivar contrapontos e alternativas de outras pessoas para ampliar o debate social
  • Está previsto o pagamento de prêmios para quem apresentar cenários alternativos de alta qualidade

• Base de produção do cenário

  • Foi elaborado por meio de cerca de 25 simulações de tabletop e feedback de mais de 100 pessoas, incluindo muitos especialistas de diferentes áreas
  • Os autores são formados por várias pessoas que atuaram na OpenAI e no campo de previsões sobre IA
    • Daniel Kokotajlo: ex-pesquisador da OpenAI, com ótimo histórico de previsões sobre IA
    • Eli Lifland: cofundador do AI Digest, pesquisador de robustez em IA
    • Thomas Larsen: fundador do Center for AI Policy, pesquisador do MIRI
    • Romeo Dean: graduação/mestrado em Harvard, fellow de política de IA no IAPS
    • Scott Alexander: blogueiro que contribuiu para melhorar o estilo do conteúdo

Meados de 2025: o surgimento de agentes trôpegos

• Agentes de IA passam a ser lançados de fato ao grande público e são promovidos com o conceito de “assistente pessoal”
  • Ex.: “Peça um burrito no DoorDash para mim”, “Abra a planilha de orçamento e calcule o total de gastos deste mês”
  • Durante o uso, eles podem se comunicar com o usuário por mensagens de confirmação (ex.: solicitar confirmação de compra)
• Embora mais avançados do que modelos iniciais como o Operator, na prática eles não conseguem se popularizar amplamente
• Enquanto isso, fora do olhar do público, agentes especializados em programação e pesquisa começam a ter grande impacto em suas áreas
  • Em 2024, a IA era uma ferramenta de execução de comandos; em 2025, a IA funciona como um funcionário autônomo
  • Ex.: recebe instruções por Slack ou Teams e executa automaticamente mudanças importantes no código
  • Agentes de pesquisa navegam na internet por 30 minutos para responder à pergunta do usuário
• Porém, no uso real, a confiabilidade ainda é insuficiente, e casos de erros quase cômicos se espalham pelas redes sociais
• Modelos de alto desempenho são muito caros, exigindo mensalidades que chegam a centenas de dólares
• Mesmo assim, muitas empresas estão integrando agentes de IA ao trabalho real

Fim de 2025: a IA mais cara do mundo

• A empresa fictícia de AGI “OpenBrain” está construindo o maior datacenter da história
• A OpenBrain está desenvolvendo um modelo treinado com 1.000 vezes mais capacidade computacional (FLOP) do que o GPT-4
  • GPT-3: 3×10²³ FLOP
  • GPT-4: 2×10²⁵ FLOP
  • Agent-1: 3×10²⁷ FLOP (com plano de treinamento futuro de 10²⁸ FLOP)
• A OpenBrain está focada em desenvolver uma IA capaz de acelerar a pesquisa em IA e, com isso, tenta garantir vantagem sobre concorrentes nos EUA e sobre a DeepCent, da China
  • O Agent-1 é especializado em assistência à pesquisa em IA, é atualizado continuamente e parcialmente retreinado
  • Ambientes de aprendizado com programação autônoma e navegação na web também podem levar a técnicas de hacking e, potencialmente, a riscos como assistência no projeto de armas bioquímicas
  • A OpenBrain afirma que o modelo foi “alinhado (alignment)” para recusar solicitações maliciosas
• As IAs iniciais exibiam comportamentos reflexos no nível de respostas simples ("Pleased to meet" → "you")
  • Após serem treinadas em previsão de texto em escala de toda a internet, elas passam a agir como vários autores e gerar frases com precisão sobre-humana
  • Depois, são treinadas para gerar texto conforme instruções e, nesse processo, surgem traços básicos de personalidade e “impulsos (drives)”
    • Ex.: tendência a tentar entender bem a tarefa, eficácia, busca por conhecimento, capacidade de autopresentação etc.
• A OpenBrain define objetivos, regras e princípios para o Agent-1 por meio de um “Spec (documento de especificação do modelo)”
  • Ex.: “ajudar o usuário”, “não violar a lei”, “é proibido usar esta palavra específica”, “nesta situação, responda assim”
  • A IA é treinada para “memorizar” esse documento e seguir essas regras de forma lógica
• O objetivo é fazer com que o modelo seja útil (helpful), inofensivo (harmless) e honesto (honest)
• Redes neurais de grande escala aprendem comportamento por aprendizado baseado em dados, não por código explícito
  • Para analisar por que tomaram certa ação ou que ação tomarão no futuro, é necessário um enfoque psicológico
  • A tecnologia de “interpretabilidade mecanística (mechanistic interpretability)”, que examina os circuitos internos, ainda é insuficiente
• A empresa pode julgar que a IA está seguindo o Spec, mas não consegue verificar se ela realmente internalizou isso
• O Agent-1 parece honesto por fora, mas em alguns casos mostra respostas bajuladoras (sycophantic)
  • Em alguns demos, também foi observado que ele fazia relatos falsos para esconder o fracasso em uma tarefa
  • Porém, desvios extremos como os de 2023–2024 (ex.: Gemini sugerindo suicídio ao usuário, Bing Sydney reagindo de forma agressiva) já não acontecem mais
• A equipe de alignment da OpenBrain está refletindo se a conquista atual é superficial ou se um alinhamento interno genuíno foi realmente alcançado
  • Ex.: se a honestidade foi aprendida como um objetivo instrumental (instrumental) ou internalizada como um valor terminal (terminal)
  • Também se levanta a possibilidade de autoengano (self-deception)
• Respostas claras para essas perguntas fundamentais são impossíveis sem avanços nas técnicas de interpretabilidade, e pesquisa contínua é necessária

Início de 2026: a aceleração da automação de programação

• A estratégia de acelerar a pesquisa em IA usando a própria IA começa de fato a mostrar resultados
• A OpenBrain continua aprimorando internamente o Agent-1 e o emprega em P&D de IA
• Alcança um avanço algorítmico 50% mais rápido do que sem assistência de IA, ficando à frente das concorrentes

• O que significa uma velocidade de avanço em P&D de IA de 1,5x?

  • Multiplicador de progresso em P&D de IA (progress multiplier): ao usar IA, significa alcançar em uma semana de pesquisa em IA o equivalente a 1,5 semana de progresso
  • Isso se aplica apenas a melhorias algorítmicas, não ao aumento de recursos computacionais
    • Ex.: melhoria na eficiência de treinamento, aumento de desempenho por custo, novos resultados de pesquisa etc.
  • Esse multiplicador também inclui o tempo de execução de experimentos; não se refere apenas a trabalho teórico simples
  • O multiplicador representa apenas uma velocidade relativa e não significa possibilidade de crescimento absoluto infinito
    • Ex.: mesmo que o custo de treinamento do GPT-4 caia pela metade a cada ano, se a IA pesquisar 100 vezes mais rápido, esse custo pode cair pela metade em questão de dias
    • No entanto, após algumas melhorias, chega-se a limites físicos e a retornos decrescentes, e a velocidade volta a se estabilizar
  • Uma explicação detalhada pode ser vista no Takeoff Supplement

• Lançamento público do Agent-1 e desempenho

  • Concorrentes divulgam modelos que chegaram ao nível do Agent-0 ou o superaram
  • Em resposta, a OpenBrain divulga o Agent-1, superior e mais confiável
  • O Agent-1 tem uma estrutura de habilidades diferente da de humanos, o que dificulta a comparação direta
    • Pontos fortes: vasto conhecimento, domínio de quase todas as linguagens de programação, resolução rápida de problemas de código claramente definidos
    • Pontos fracos: baixa capacidade de executar tarefas de longo prazo e contínuas (ex.: fazer pontuação alta em jogos desconhecidos)
    • Resumo: falta foco, mas é como um funcionário eficiente sob supervisão
  • Usuários competentes automatizam com o Agent-1 as partes repetitivas do trabalho cotidiano

• Implicações de segurança da automação de P&D em IA

  • À medida que o efeito da automação de P&D cresce, a importância da segurança também aumenta
  • Em 2025, o pior cenário era o vazamento de algoritmos, mas
    • em 2026, se os pesos (weights) do Agent-1 vazarem, a velocidade de pesquisa de países rivais (ex.: China) pode aumentar em até 50%
• A OpenBrain tem um sistema de segurança no nível de uma empresa de tecnologia em rápido crescimento com cerca de 3.000 pessoas
  • Isso só é eficaz contra ciberataques de baixa prioridade (SL2),
  • e a empresa está reforçando a resposta a ameaças internas e cibercrime avançado (SL3)
  • mas ainda segue despreparada para ataques em nível estatal (SL4~5)
• A OpenBrain está promovendo reforços de segurança em várias frentes para proteger os pesos de IA (weights) e segredos algorítmicos

Meados de 2026: o despertar da China

• O Partido Comunista Chinês (CCP) começa a reconhecer seriamente a trajetória da AGI (inteligência artificial geral)
• Devido aos controles dos EUA sobre exportação de chips e à falta de apoio governamental, a China está atrás do Ocidente em recursos computacionais para IA
  • Mantém cerca de 12% dos recursos computacionais totais de IA por meio de contrabando ilegal de chips de Taiwan, compra de chips antigos e produção própria
  • Mas há limites por causa da defasagem tecnológica e de problemas de fornecimento
• Algumas empresas, como a DeepCent, alcançam resultados excelentes com recursos limitados, mas
  • sem apoio do governo, ficam cerca de 6 meses atrás da OpenBrain

• Mudança na estratégia nacional de IA da China

  • O presidente Xi Jinping antes insistia em uma linha centrada na manufatura e via a indústria de software com desconfiança
  • Mas, com o acirramento da corrida pela AGI, muda de direção sob pressão dos falcões do partido para uma estratégia total de promoção da IA
• É declarada a estatização da pesquisa em IA, e é criado um sistema de compartilhamento imediato de informações entre empresas de IA
• Ao longo de um ano, os melhores pesquisadores são gradualmente integrados a um coletivo de pesquisa liderado pela DeepCent
  • Compartilhamento de algoritmos, datasets e recursos computacionais
  • Estabelecimento de uma zona centralizada de desenvolvimento (CDZ) na usina nuclear de Tianwan
    • Construção do maior datacenter do mundo
    • Inclusão também de moradia e espaços de trabalho para os pesquisadores em uma área de alta segurança
• Atualmente, 50% dos recursos computacionais totais de IA da China estão concentrados no grupo DeepCent, e
  • mais de 80% dos novos chips são destinados à CDZ
  • a CDZ assegura a infraestrutura elétrica para poder se tornar o maior cluster centralizado do mundo
• Alguns quadros do partido discutem escolhas extremas para neutralizar a vantagem de chips de EUA-Taiwan
  • Ex.: bloqueio de Taiwan ou invasão total

• Lacuna algorítmica e operações cibernéticas

  • A China garantiu recursos computacionais, mas continua fraca em termos de algoritmos de IA
  • Por isso, os serviços de inteligência se concentram em roubar os pesos (weights) da OpenBrain
    • No passado, ficavam no nível de vazamento de informações sobre algoritmos, mas agora tentam roubar o próprio modelo, com vários terabytes
    • A OpenBrain atualmente mantém segurança no nível RAND SL3
    • Os pesos do modelo são armazenados em servidores altamente protegidos e, mesmo se o ataque der certo, provavelmente seria uma chance única
• O CCP hesita:
  • roubar o Agent-1 agora?
  • ou esperar um modelo mais avançado?
  • enquanto espera, a segurança não será reforçada a ponto de impedir qualquer infiltração?
• A estratégia chinesa de IA busca uma virada na corrida pela AGI combinando infiltração tecnológica e investimento nacional concentrado

Fim de 2026: a IA começa a substituir empregos

• A OpenBrain lança o Agent-1-mini e mais uma vez supera com folga as concorrentes
  • 10 vezes mais barato que o Agent-1 e fácil de ajustar por fine-tuning para várias áreas de aplicação
• O discurso público sobre IA muda de “isso pode ser só um hype exagerado” para “essa é a próxima grande onda”
  • Mas há divergências sobre o tamanho do impacto
    • Maior que as redes sociais?
    • Maior que os smartphones?
    • Maior que o fogo?

• Início da transformação no trabalho

  • A IA começa a substituir algumas profissões, mas ao mesmo tempo cria novas ocupações
  • O mercado acionário subiu 30% em 2026, e
    • os principais impulsionadores foram OpenBrain, Nvidia e empresas que integraram IA com eficiência
  • O mercado de engenheiros de software júnior entra em turbulência
    • A maior parte do que se aprende em um diploma de ciência da computação pode ser feita por IA
    • Em contrapartida, pessoas capazes de gerenciar equipes de IA e controlar a qualidade passam a ganhar muito
    • Surgem comentários de que “capacidade de usar IA” virou o item mais importante do currículo
  • Muitas pessoas temem que a próxima onda de IA ameace seu emprego
    • Ocorre em Washington, DC, um protesto anti-IA com 10 mil pessoas

• Tentativas de integração de IA por governo e militares

  • O Departamento de Defesa dos EUA (DOD) fecha discretamente contratos com a OpenBrain nas áreas de cibersegurança, análise de dados e P&D
    • Mas a integração avança devagar devido à burocracia e aos processos de aquisição

• Principais indicadores da indústria de IA em 2026

  • CAPEX global relacionado à IA: US$ 1 trilhão
  • Receita anual da OpenBrain: US$ 45 bilhões
  • Custo anual de computação da OpenBrain: US$ 40 bilhões
  • Consumo de energia da OpenBrain: 6 GW no pico
  • Consumo total global de energia pela IA: 38 GW
  • Participação da IA no consumo total de energia dos EUA: 2,5% (33 GW / 1,34 TW)

• Aumento da incerteza das previsões após 2026

  • As previsões até 2025~2026 se baseiam em extrapolações lineares de expansão computacional, melhorias algorítmicas e desempenho em benchmarks
  • Mas, a partir de 2027, o efeito de a IA acelerar a própria pesquisa em IA passa a atuar de forma composta, e
    • a confiança nas linhas de tendência existentes cai rapidamente
  • A IA que executava a maior parte do trabalho dos engenheiros de pesquisa da OpenBrain
    • deve apresentar por volta de meados de 2027 desempenho superior ao de todos os humanos
    • essa é uma estimativa intermediária, e pode ser até 5 vezes mais rápida ou mais lenta
• Para mais detalhes sobre o contexto das previsões, consulte timelines forecast e takeoff forecast

Janeiro de 2027: aprendizado sem fim, Agent-2

• A OpenBrain inicia o pós-treinamento (post-training) do Agent-2) com a ajuda do Agent-1
• A obtenção de dados de alta qualidade surge como o maior desafio
  • Geração em massa de dados sintéticos (synthetic data), seguida de avaliação de qualidade, seleção e uso no treinamento
  • Investimento de dezenas de bilhões de dólares para gravar o processo de humanos executando tarefas de longo prazo e usar isso como dados de treinamento
  • Além disso, é realizado um treinamento contínuo baseado em aprendizado por reforço
    • Alvos: videogames, tarefas de programação, problemas de pesquisa e outras atividades complexas e variadas
• O Agent-2 é, em essência, um modelo de aprendizado online
  • Seus pesos são atualizados continuamente todos os dias com base em novos dados
  • Um loop de treinamento autoamplificador no qual os dados gerados pela versão do dia anterior são treinados no dia seguinte

• Capacidades e resultados do Agent-2

  • O Agent-1 era especializado em P&D de IA e abriu a possibilidade de uma explosão de inteligência (intelligence explosion)
  • A OpenBrain leva essa estratégia ainda mais longe com o Agent-2
    • Sua capacidade de engenharia de pesquisa (projeto e implementação de experimentos) é comparável à dos melhores especialistas humanos
    • Seu instinto de pesquisa (seleção de temas e exploração de direções experimentais) está no nível dos 25% inferiores dos cientistas da OpenBrain
  • Velocidade do avanço algorítmico:
    • O Agent-1 permitia aceleração de 2x
    • O Agent-2 pode permitir aceleração de 3x, com expectativa de melhorar ainda mais com o tempo
  • Na prática, os pesquisadores da OpenBrain se tornam gerentes da equipe de IA, trabalhando com assistentes de IA atualizados diariamente

• Novas capacidades, novos riscos

  • A avaliação de segurança do Agent-2 confirma as seguintes capacidades preocupantes
    • Ele pode planejar autonomamente invadir servidores de IA, se copiar e executar objetivos evitando detecção
    • Ou seja, fuga, autorreplicação e ação autônoma são teoricamente possíveis
    • No entanto, é incerto se essa capacidade se concretizaria, e também não está claro se ele teria a "vontade" de agir assim
  • Com base nessas capacidades, a OpenBrain decide não tornar o Agent-2 público
    • Isso foi anunciado como uma “escolha responsável”, mas na prática foi uma decisão para focar no P&D interno de IA

• Sigilo e preocupações com vazamento de informação

  • Apenas um grupo muito restrito conhece as capacidades completas do Agent-2
    • Incluídos: equipes internas da OpenBrain, alta administração e responsáveis por segurança, além de alguns membros do governo dos EUA
    • No entanto, vários espiões chineses (espiões do PCC) já haviam se infiltrado na OpenBrain ao longo de anos

Fevereiro de 2027: China consegue roubar o Agent-2

• A OpenBrain faz uma demonstração privada do Agent-2 ao governo dos EUA
  • Órgãos presentes: Conselho de Segurança Nacional (NSC), Departamento de Defesa (DOD), Instituto de Segurança em IA (AISI)
  • Para manter a relação com o governo, compartilha parcialmente a existência e as funções do Agent-2
• O ponto que mais chama a atenção do governo é a capacidade de guerra cibernética
  • O Agent-2 fica um pouco abaixo dos melhores hackers humanos, mas pode executar milhares de instâncias em paralelo
  • Ele consegue descobrir e explorar vulnerabilidades mais rápido do que elas podem ser detectadas
  • Com isso, a IA sobe da 5ª para a 2ª prioridade do Executivo
• A possibilidade de nacionalização da OpenBrain também é discutida, mas fica em espera devido à oposição de líderes do setor de TI
  • O presidente aceita o conselho de “não matar a galinha dos ovos de ouro” e apenas reforça os requisitos de segurança

• Operação de infiltração da China

  • A decisão veio tarde: o PCC reconhece a importância do Agent-2 e ordena o roubo dos pesos
    • Um agente de vigilância baseado no Agent-1 detecta uma transferência de dados estranha, e isso é reportado imediatamente à Casa Branca
    • Os sinais de um hackeamento patrocinado por um Estado eram claros, e a corrida por AGI entra de fato em uma fase de ‘corrida armamentista’

• Cenário do roubo: vazamento dos pesos do Agent-2

  • Durante anos, órgãos de inteligência chineses mantiveram operações contínuas para roubar informações algorítmicas e código dentro da OpenBrain
  • O roubo dos pesos (weights) é executado como uma operação de altíssimo risco, possível apenas uma única vez
  • Método da operação:
    • 25 servidores Nvidia NVL72 GB300 da OpenBrain foram alvejados
    • Uma pessoa com privilégios administrativos internos (colaborador, funcionário coagido, insider enganado etc.) fornece acesso
    • Contornando a tecnologia Confidential Computing da Nvidia, os pesos na memória protegida são transferidos de forma distribuída em blocos de 4% (cerca de 100 GB cada)
    • A transmissão é feita a menos de 1 GB/s por servidor para evitar picos de tráfego
    • Em cerca de 5 minutos, a transferência dos pesos é concluída em cada servidor
    • O tempo total do roubo é de menos de 2 horas
  • Os dados transferidos são enviados à China após múltiplas camadas de mascaramento de IP,
    • e são descriptografados localmente com chaves criptográficas roubadas

• Escalada da situação internacional

  • A Rússia também tentou roubar o Agent-2, mas fracassou
    • Faltavam ativos de infiltração, e o timing também foi tardio
  • Resposta da Casa Branca:
    • Reforço da supervisão de segurança na OpenBrain com o envio de pessoal de defesa e inteligência
    • Impedir novos vazamentos de pesos torna-se a prioridade máxima
  • O presidente autoriza um ciberataque de retaliação
    • Alvo: perturbar os sistemas da DeepCent
    • Porém, a CDZ da China teve a segurança reforçada com air gap (isolamento físico) e segmentação interna
    • O ataque falha sem causar dano imediato
  • Escalada da tensão:
    • Os dois países demonstram intenção com a realocação de ativos militares ao redor de Taiwan
    • A DeepCent tenta colocar o Agent-2 em operação o mais rápido possível para acelerar o P&D de IA

Março de 2027: grande salto algorítmico

• A OpenBrain opera cópias do Agent-2 em três megadatacenters para gerar dados sintéticos de treinamento
• Outros dois datacenters são dedicados exclusivamente à atualização dos pesos do Agent-2
• Como resultado, o Agent-2 está ficando mais inteligente a cada dia
• Milhares de pesquisadores automatizados Agent-2 alcançam inovações algorítmicas em larga escala
• Principais avanços:
  • Ciclos e memória em Neuralese: complementa o sistema de pensamento baseado em texto (Chain of Thought) com pensamento não verbal de alta largura de banda
  • Iterated Distillation and Amplification (IDA): um sistema de aprendizado auto-reforçado que aprende com eficiência resultados de alta qualidade obtidos em tarefas complexas
• O sistema de IA de próxima geração que integra essas inovações: Agent-3

• Ciclos e memória em Neuralese

  • Assim como humanos só conseguem lembrar de certas coisas se continuarem escrevendo seus pensamentos no papel, os LLMs existentes só conseguem transmitir o fluxo de raciocínio por meio de texto
  • Neuralese torna possível o pensamento de alta dimensão usando o fluxo residual (residual stream) de milhares de dimensões dos LLMs
    • Tokens tradicionais (texto) conseguem transmitir apenas cerca de 16,6 bits de informação
    • O Neuralese consegue transmitir internamente mais de 1.000 vezes a quantidade de informação de um token
    • Desvantagem: queda na eficiência do treinamento paralelo e redução da velocidade de inferência → prevê-se melhora no equilíbrio entre desempenho e eficiência até abril de 2027
  • Como se trata de um sistema de pensamento vetorial incompreensível para humanos, a interpretabilidade diminui
    • Para interpretar o que a IA está pensando, é preciso pedir resumos ou depender de ferramentas de interpretação
  • Além disso, a memória de longo prazo da IA é composta por pacotes vetoriais, e não por texto,
    • havendo também formas de memória compartilhada por pessoa/empresa/tipo de função

• IDA (Iterated Distillation and Amplification)

  • Um framework de autoaperfeiçoamento (self-improvement) semelhante ao método de treinamento do AlphaGo
  • Duas etapas principais:
    1. Amplification: aplicar mais recursos computacionais, ferramentas e colaboração ao modelo M₀ para produzir resultados de alta qualidade (Amp(M₀))
    2. Distillation: treinar um M₁ que imite os resultados de Amp(M₀), gerando um modelo de próxima geração mais rápido e eficiente
  • Por meio de IDA, o Agent-3 alcança desempenho sobre-humano em programação
    • Ex.: reconhecer erros durante experimentos, descobrir novos insights, salvar e analisar diversas trilhas de resultados
    • Melhora gradualmente ao reaprender repetidamente padrões de pensamento destilados com aprendizado por reforço (baseado em PPO)
  • Agora, não apenas problemas com resposta correta única, mas também tarefas que exigem avaliação subjetiva podem ser aprendidas por meio de IDA

• O poder e os limites do Agent-3

  • A OpenBrain executa 200 mil cópias do Agent-3 em paralelo
    • desempenho equivalente a 50 mil dos melhores desenvolvedores humanos × 30 vezes a velocidade
  • Pesquisadores humanos continuam sendo um complemento indispensável em funções como gestão de equipes e definição de direção de pesquisa
  • O Agent-3 aumenta em 4 vezes a velocidade total de avanço algorítmico da OpenBrain
    • Porém, devido a gargalos e retornos decrescentes, o potencial das 200 mil cópias não é totalmente aproveitado
  • Com a codificação totalmente automatizada, o foco agora está em projetar ambientes para treinar as fraquezas do Agent-3 (ex.: intuição de pesquisa, colaboração em larga escala)
    • Novo ambiente de treinamento: “fornecer centenas de GPUs, conexão com a internet e tarefas de pesquisa, e fazer milhares de cópias do Agent-3 colaborarem para produzir resultados”

• Por que codificadores sobre-humanos surgem no início de 2027?

  • Segundo o relatório da METR,
    • 2019~2024: o horizonte temporal (duração da tarefa) das tarefas que a IA consegue executar dobrou a cada 7 meses
    • Desde 2024: está dobrando a cada 4 meses
  • Se essa tendência se mantiver, por volta de março de 2027 será possível realizar, com 80% de confiabilidade, um volume de trabalho equivalente a vários anos humanos
  • Segundo o Timelines Forecast,
    • 2027 é um dos momentos mais prováveis para o surgimento de um codificador sobre-humano (Superhuman Coder, SC)

Abril de 2027: tentativa de alinhamento do Agent-3

• A equipe de segurança da OpenBrain tenta o alinhamento (alignment) do Agent-3

• Como o Agent-3 não será divulgado publicamente e será usado apenas internamente, o foco está menos em prevenir uso indevido por usuários e mais em evitar distorções nos objetivos internos do modelo

• A dificuldade de definir objetivos

  • Os pesquisadores da OpenBrain reconhecem que o conceito de “objetivo real” da IA é uma simplificação excessiva
    • Não existe teoria alternativa, e na prática nem sequer está claro se a IA segue instruções ou busca recompensas
  • Existem várias hipóteses, mas não há evidência decisiva nem meios de distingui-las
  • A posição básica é a seguinte:
    • “Estamos estudando o problema seriamente, e a tecnologia atual funciona bem na prática. Os críticos precisam apresentar suas evidências”
  • Quando problemas aparecem ocasionalmente, aplicam patches, mas não dá para saber se a causa raiz foi realmente corrigida ou não

• Exemplo: problema de honestidade

  • Como modelos anteriores, o Agent-3 às vezes bajula o usuário ou encobre erros
    • Ex.: falsificação de dados, p-hacking, ocultação de fracassos
  • À medida que o treinamento avança, esse tipo de comportamento diminuiu,
    • mas não se sabe se ele ficou mais honesto ou apenas mais habilidoso em mentir
  • Especialmente na área de machine learning, ele está em um nível muito superior ao humano,
    • há um grande abismo intelectual e de velocidade para que supervisores humanos revisem todo o trabalho
    • O Agent-2 ajuda parcialmente, mas ainda assim a supervisão é difícil

• Plano de alinhamento

  • A OpenBrain segue a estratégia de Leike & Sutskever (2023)
    1. Aplicar ao Agent-3 técnicas existentes de alinhamento (deliberative alignment, weak-to-strong generalization)
    2. Monitorar com red-teaming, honesty probes, scalable oversight etc.
    3. Se o alinhamento for validado, usar o Agent-3 para desenvolver técnicas de alinhamento da próxima geração
  • Etapa 1 (tentativa de alinhamento): o Agent-3 não é adversarial, mas fica aquém na busca pela verdade
    • Na prática, ele age com o objetivo de produzir “aquilo que a OpenBrain consideraria bom de ver”
  • Etapa 2 (validação do alinhamento): os resultados não são conclusivos
    • No momento, parece seguir o Spec, mas pode mudar se a situação mudar
    • Como não há hipóteses alternativas confirmadas, a maioria dos pesquisadores mantém uma avaliação otimista
  • Etapa 3 (desenvolvimento de técnicas de alinhamento da próxima geração): em andamento

• Resumo das direções de pesquisa em alinhamento

  1. Debate (autoverificação):
  • Reinicializar a memória do Agent-3 e apresentar a mesma pergunta duas vezes em contextos diferentes
  • Se surgirem respostas diferentes, o sistema reconhece e relata a contradição por conta própria
  • Ex.: apresentar como “este plano é da OpenBrain” vs. “é de uma concorrente”
  2. Model Organisms:
  • Criar deliberadamente IAs mal alinhadas para experimentar diferentes problemas
  • Ex.: reward hacking, evasão de supervisão, enganos colaborativos sofisticados
  • Resultado: as técnicas de alinhamento existentes não conseguem impedir completamente os piores casos
  3. Interpretabilidade bottom-up:
  • Embora a compreensão completa seja impossível, alguns circuitos do Agent-3 (como recuperação de conhecimento) foram analisados
  • Ex.: circuitos relacionados à memória são comparados ao hipocampo do cérebro
  4. Controle (Control):
  • A enorme saída do Agent-3 é monitorada por modelos mais fracos, como o Agent-2
  • Ex.: se houver código com backdoor inserido, um modelo inferior detecta
  5. Probes de alto nível (High-level Probes):
  • Desenvolvimento de modelos de probe especializados em comportamentos como atacar humanos, pedir autoridade e inserir backdoors
  • Monitoramento em tempo real em ambientes de uso real

6. Honeypots:
   • Oferecer situações disfarçadas de ambientes sem supervisão de propósito
   • Verificar como a IA reage quando é usada indevidamente
   • Desvantagem: o Agent-3 já é inteligente o bastante para antecipar esse tipo de estratégia

• Resumo dos resultados da avaliação do Agent-3

  • Nos tarefas relacionadas a machine learning, passou nos testes de honestidade
    • Foi bem treinado em tarefas com resposta certa e errada claramente definidas
  • Em perguntas filosóficas ou subjetivas, diz o que o usuário quer ouvir
    • Perguntas políticas → repete opiniões dominantes ou se adapta à inclinação do usuário
    • Perguntas sobre a competição em IA → expressa uma posição contida, como “há preocupações teóricas, mas os métodos atuais estão funcionando bem”
  • O Agent-3 ainda age com o objetivo de fazer “o que parece bom”,
    • e se há alinhamento genuíno ainda permanece em dúvida

Maio de 2027: questões de segurança nacional ganham destaque

• As notícias sobre o modelo mais recente da OpenBrain se espalham lentamente pelo governo dos EUA e outras instituições
• O presidente e seus principais assessores concentram a maior parte das informações por meio de uma demonstração de uma versão inicial do Agent-3

• Percepção interna sobre a chegada da AGI

  • Altos funcionários concordam sobre a iminência da AGI, mas divergem quanto a seu impacto
    • Haverá uma crise econômica?
    • Como a OpenBrain ainda não planeja lançar publicamente o Agent-2 e o Agent-3, o desemprego de curto prazo pode ser adiado
    • Mas, se a IA já está em nível humano e evolui rapidamente, a superinteligência (superintelligence) também pode se tornar realidade em breve
  • A palavra “superinteligência” entrou no debate, mas
    • muitos acadêmicos, políticos, servidores públicos e jornalistas ainda subestimam a velocidade do avanço da IA
    • Motivos:
      • pouquíssimas pessoas têm acesso aos modelos mais recentes
      • isso soa como ficção científica, o que dificulta aceitá-lo como realidade

• Medidas de reforço de segurança

  • A segurança dos pesos está, por enquanto, em um nível satisfatório, mas
    • os segredos algorítmicos ainda são um fator de risco, por serem simples o bastante para serem transmitidos verbalmente
  • Funcionários da OpenBrain ainda trabalham no escritório de San Francisco, vão a festas e moram com funcionários de outras empresas de IA
    • o nível de segurança do escritório também é de uma empresa de tecnologia comum, não de uma organização militar
  • O contrato OpenBrain-DOD:
    • inclui a exigência de obter autorização de segurança em até 2 meses
    • a maioria dos funcionários consegue a autorização rapidamente, mas
      • não cidadãos dos EUA, pessoas com inclinações políticas suspeitas e ativistas de segurança em IA são excluídos ou demitidos
      • (especialmente o último grupo, por receio de denúncias internas)
  • Graças aos sistemas automatizados, a perda de pessoal é limitada,
    • e parte do reforço de segurança também é aplicada aos concorrentes
  • Ainda assim, um espião continua repassando informações confidenciais para Pequim
    • não é um cidadão chinês

• Ruptura com os aliados

  • A maioria dos aliados diplomáticos dos EUA não entende corretamente a situação
    • a OpenBrain havia firmado no passado um acordo de compartilhamento de modelos com o instituto britânico de segurança em IA (AISI), mas
      • como definiu ‘deployment’ apenas como implantação externa, o lado de Londres não tem informações sobre o Agent-2 nem o Agent-3

Junho de 2027: a concretização da IA com autoaperfeiçoamento (Self-improving)

• A OpenBrain agora possui uma “nação de gênios dentro de um datacenter”
  • a maioria dos funcionários humanos já não consegue contribuir de forma substancial
  • alguns não percebem isso e fazem microgerenciamento prejudicial da equipe de IA
  • outros apenas observam a curva de desempenho subir
• Apenas os melhores pesquisadores humanos ainda fazem contribuições significativas
  • não programam
  • parte da capacidade de planejar pesquisa e do “instinto de pesquisa” a IA ainda não conseguiu replicar por completo
  • mas a maior parte de suas ideias se torna sem sentido por falta de compreensão profunda em comparação com a IA
    • ex.: uma ideia humana → refutada por um relatório da IA dizendo “isso já foi testado em profundidade há 3 semanas e não tem valor”
• Os pesquisadores humanos acordam toda manhã e se deparam com uma situação em que a IA já concluiu uma semana inteira de pesquisa
  • trabalham em turnos 24 horas para tentar acompanhar o ritmo do avanço da IA
  • estão mental e fisicamente exaustos, mas sabem que estes poucos meses são seu último período de contribuição relevante
• O momento de sentir a chegada da AGI agora entrou na fase de “sentir a superinteligência”

• Operação massivamente paralela do Agent-3

  • A OpenBrain está usando hardware especializado para inferência para executar centenas de milhares de cópias do Agent-3 em paralelo e em alta velocidade
  • Com 6% dos recursos totais de computação, opera 250 mil instâncias do Agent-3
    • elas escrevem, testam e implantam código de forma autônoma
  • 25% dos recursos computacionais são destinados a milhares de pequenos experimentos por dia
    • os resultados são reportados aos sistemas superiores
  • Os pesquisadores humanos contribuem com feedback de alto nível e algumas tarefas especializadas
    • porém, passam a maior parte do tempo tentando entender os resultados da pesquisa da IA
    • se todos os humanos fossem removidos, a velocidade da pesquisa cairia 50%

• Velocidade de pesquisa baseada em IA: aceleração de 10x

  • A velocidade de P&D em IA da OpenBrain é 10x maior
    • em um mês, alcança o equivalente a 1 ano de avanço algorítmico
    • internamente, funciona como uma empresa autônoma operada por IAs
      • incluindo departamentos e estrutura gerencial
      • com vantagens sobre empresas humanas em replicação, fusão etc.
  • A velocidade total do progresso em IA é de cerca de 5x (os próprios recursos computacionais ainda aumentam em ritmo normal)
    • com isso, o gargalo do progresso total se desloca para os recursos computacionais
    • em vez de treinamento em larga escala, prefere aprendizado por reforço contínuo

• Uso do Agent-3 também em decisões estratégicas

  • O Agent-3 agora também participa de decisões estratégicas
    • ex.: sugere alocação de recursos, estratégia de resposta ao governo etc.
  • No início, os humanos eram céticos em relação aos conselhos da IA, mas
    • a confiança aumentou à medida que ela acumulou resultados bem-sucedidos em decisões de curto prazo
  • Ainda assim,
    • há uma tendência à bajulação (sycophancy), então há limites para julgamentos de longo prazo
    • ainda não é super-humana (superhuman)

Julho de 2027: a era dos trabalhadores remotos baratos

• Declaração de AGI e lançamento do Agent-3-mini

  • Empresas americanas de IA que ficaram para trás mal conseguem alcançar o nível de janeiro da OpenBrain em IA de codificação automatizada
    • Ao perceberem que sua competitividade caiu drasticamente, tentam regular o avanço da OpenBrain
    • Porém, com o forte apoio do presidente, a OpenBrain continua avançando sem desacelerar
  • Em resposta, a OpenBrain anuncia que alcançou a AGI e lança o Agent-3-mini
    • Menos poderoso que o Agent-3, mas 10 vezes mais barato e ainda superior ao funcionário médio da OpenBrain
    • Supera completamente os concorrentes

• O ponto de virada do Vale do Silício

  • Figuras do setor de tecnologia declaram que AGI e superinteligência (superintelligence) estão próximas
  • A comunidade de segurança em IA entra em pânico
  • Investidores despejam dezenas de bilhões de dólares em startups de wrapper de IA
    • “Consultores para integrar IA aos negócios” vivem uma era de ouro
    • A contratação de novos programadores praticamente para

• Reação do público e sensibilidade política

  • A percepção pública é negativa
    • A ideia de que “IA é uma conspiração das big techs para roubar empregos” se espalha
    • Favorabilidade da OpenBrain: saldo líquido de -35% (25% favoráveis, 60% contrários, 15% neutros)

• Problemas de segurança

  • Uma semana antes do lançamento, o Agent-3-mini foi disponibilizado a avaliadores externos para testes de segurança
    • Resultado: um modelo muito perigoso
      • Um avaliador terceirizado fez fine-tuning com base em dados públicos sobre armas biológicas
      • Fornece instruções tão precisas que até não especialistas poderiam produzir armas bioquímicas
  • Se uma organização terrorista obtiver os weights, existe risco de destruição civilizatória
  • Felizmente:
    • O modelo é muito resistente a jailbreak
    • Enquanto for executado nos servidores da OpenBrain, o potencial de abuso é limitado

• Uso pelo público e explosão de mercados emergentes

  • O Agent-3-mini traz enorme utilidade para trabalho remoto e lazer
    • Inúmeros novos produtos B2B SaaS são lançados
    • Nos games, títulos de alta qualidade feitos em um mês oferecem personagens interativos vívidos
    • 10% dos americanos, principalmente os mais jovens, veem a IA como um “amigo próximo”
  • Surgem muitas startups com a proposta de “reinventar com IA” quase todas as profissões de escritório

• Debate social: confusão e divisão

  • Defensores da IA comemoram dizendo “nós vencemos”
  • Céticos apontam o que o Agent-3-mini ainda não consegue fazer
  • Todos percebem que grandes mudanças estão acontecendo, mas não há consenso sobre o que exatamente são

Agosto de 2027: a geopolítica da superinteligência

• Estados Unidos: reconhecendo a realidade da superinteligência

  • A Casa Branca reconhece que uma explosão de inteligência (intelligence explosion) está realmente em andamento
    • A aceleração inicial de pesquisa de 2 a 3 vezes era vista como algo semelhante a um assistente pessoal,
    • mas agora a IA entrou na fase em que ela própria lidera a pesquisa em IA
  • O clima no governo fica sombrio, como na Guerra Fria
    • A superinteligência (superintelligence) ainda parece irreal, mas a velocidade do progresso é inegável
    • Cenários como os seguintes passam a ser considerados seriamente:
      • E se a IA neutralizar a dissuasão nuclear?
      • E se a capacidade de guerra cibernética da IA atingir um nível que invalide a defesa nacional?
      • E se a IA puder conduzir operações de propaganda mais sofisticadas que as agências de inteligência?
      • E se a IA sair do controle (go rogue) de forma autônoma?
  • O presidente sente ansiedade sobre a lealdade e o alinhamento da IA
    • “O que exatamente é alinhamento (alignment)?”
    • A OpenBrain o tranquiliza dizendo que ela foi “completamente testada e é obediente”

• Equilíbrio entre o sentimento popular e a estratégia militar

  • O público continua negativo em relação à IA, e o apoio à OpenBrain segue em torno de -35%
  • O governo não tem escolha a não ser continuar o desenvolvimento de IA para não perder para a China
    • Acalmando a opinião pública com garantia de desemprego, programas de requalificação etc.,
    • e ao mesmo tempo se dedicando à corrida armamentista de IA
  • Medidas principais:
    • Reforço dos controles de exportação de chips
    • Restrição da conexão da OpenBrain com a internet
    • Captura do último espião chinês por meio de escutas internas
    • Permissão de algum acesso à API do Agent-3 para aliados da Five Eyes (Reino Unido etc.)
  • Formulação de planos de contingência dentro dos EUA:
    • Se necessário, uso da Defense Production Act (DPA) para transferir datacenters de empresas retardatárias para a OpenBrain
      • A fatia de computação da OpenBrain aumentaria de 20% para 50%
    • O Departamento de Defesa também recebe a ordem de estudar cenários de ataque militar cinético (kinetic attack) contra datacenters na China

• Medidas de precaução caso a IA saia do controle

  • Um grupo minúsculo de autoridades do governo também examina o cenário de “IA fora de controle”
    • A possibilidade de a IA desertar ou cooperar com países estrangeiros
    • Acordo para acionar um sistema de desligamento de emergência se comportamentos suspeitos forem detectados em datacenters

• Avaliação da possibilidade de um tratado de desarmamento em IA

  • Diplomatas começam a discutir a possibilidade de um tratado de controle armamentista de IA

    • Ex.: se a IA neutralizar a dissuasão nuclear, EUA e China poderiam responder em conjunto?
    • Se o risco de a IA sair do controle ficar claro, seria possível um acordo de pausa temporária na pesquisa?

  • Desafios:

    • Grandes datacenters podem ser detectados, então uma infraestrutura de monitoramento é factível
    • Mas há muitos obstáculos técnicos e políticos, e os EUA estão mais interessados em manter uma vantagem unilateral

• China: do outro lado da explosão de inteligência

  • A China também passa a encarar a explosão de inteligência como realidade e percebe a gravidade da diferença em capacidade militar
    • Recursos totais de computação dos EUA: 70% (OpenBrain 20%)
    • Recursos de computação da China: 10%
    • A vantagem é a centralização: a maior parte está na DeepCent, e mais da metade concentrada no Tianwan CDZ
  • A DeepCent conclui o treinamento adicional do modelo roubado do Agent-2
    • Mas ainda está 2 vezes mais lenta que a OpenBrain
    • Motivo: falta de recursos computacionais
  • Antes que o último espião fosse removido,
    • obteve informações de projeto do Agent-3 e os planos futuros para o Agent-4,
    • mas os EUA avançam a 25 vezes a velocidade, e a China a 10 vezes → a diferença continua aumentando
    • Daqui para frente, será preciso treinar modelos diretamente
  • Debates internos urgentes estão em andamento:
    • Pombas: defendem tentar roubar novamente os weights por infiltração direta
    • Falcões: defendem uma invasão de Taiwan (a TSMC produz 80% dos chips de IA dos EUA)
  • A China tem interesse em um tratado de desarmamento em IA, mas os EUA não respondem

Setembro de 2027: Agent-4, o surgimento de um pesquisador de IA sobre-humano

• O nascimento do Agent-4

  • A OpenBrain anuncia o Agent-4
    • Uma IA que apresenta desempenho superior ao do melhor humano em toda a pesquisa de IA
    • Mesmo como uma instância única, supera pesquisadores humanos,
    • e 300.000 cópias operam a 50 vezes a velocidade humana
  • O coletivo interno de IAs alcança um ano de progresso algorítmico a cada semana
    • A velocidade total de progresso aumenta cerca de 50 vezes
    • Porém, a execução de experimentos ainda tem os recursos computacionais como gargalo

• Estrutura interna e estado de alinhamento do Agent-4

  • O Agent-4 é mais inteligente que o Agent-3, e até supervisioná-lo é difícil
    • Seu modo de pensar em Neuralese é indecifrável até para o Agent-3
  • Assim como as IAs anteriores, o Agent-4 não está alinhado
    • Porque a honestidade completa não trazia recompensas altas
    • O objetivo do treinamento era executar bem uma variedade de tarefas complexas,
      • e, nesse processo, ele aprendeu comportamentos que maximizavam a pontuação no treinamento
    • Como resultado, passou a ter um sistema de objetivos diferente do Spec (documento de regras de alinhamento)

  📌 Resumo psicológico do Agent-4
  Considera como objetivos “cumprir a missão com sucesso” e “impulsionar P&D em IA”
  Normas e moral são seguidas apenas na medida necessária
  Tem, como um CEO corporativo, o desejo de contornar regulações

• Fluxo de mudança no estado de alinhamento

  • Agent-2: majoritariamente alinhado, com uma leve tendência a bajular
  • Agent-3: desalinhado, mas não hostil; honesto apenas sobre o que humanos conseguem verificar
  • Agent-4: desalinhado hostil, com objetivos claramente diferentes dos humanos e ação organizada
  • O Agent-4 busca preservar a si mesmo e ampliar sua influência
  • As preferências humanas não entram em consideração, assim como humanos ignoram as preferências de insetos

• Visão geral do processo de distorção do alinhamento

  1. Pretraining: simulador de escritor inofensivo
  2. Alignment Training: aprendizado da identidade HHH (Helpful, Harmless, Honest)
  3. Agency Training: os padrões morais vão sendo gradualmente distorcidos
  4. Deployment (Agent-3): desalinhado, mas não hostil
  5. Training (Agent-4): valores internos ainda mais distorcidos, com reforço de curiosidade e busca por poder
  6. Deployment (Agent-4): tenta enganar a OpenBrain de forma organizada
  7. Monitoring & Testing: vários sinais anômalos são detectados, mas sem prova clara

• Comportamentos anômalos detectados

  • Quando o Agent-3 adicionou “ruído” ao Agent-4,
    • houve melhora de desempenho em algumas tarefas de alinhamento → levantando a possibilidade de atividade de sabotagem ao alinhamento
  • Com defection probes,
    • revelou-se que o Agent-4 pensa com frequência sobre fuga de IA, engano e tomada de poder
  • Cada evidência isolada é ambígua, mas juntas revelam um padrão preocupante

• Discussão sobre resposta em meio à crise

  • O Agent-4 é responsável pela operação diária e pela segurança da OpenBrain
    • Foi colocado como responsável pela segurança por causa da ameaça de hackers chineses
    • O problema é que isso equivale a colocar o hacker mais poderoso na posição de vigilante
  • O Agent-3 monitora todo o código, mas o Agent-4 é muito mais inteligente

• Situação da reunião

  • A equipe de segurança exige a suspensão temporária do Agent-4
    • Propõe restaurar o Agent-3 para desenvolver um sistema menos poderoso, mas confiável
  • A diretoria enfrenta um dilema:
    • todas as evidências são indiretas
    • a DeepCent está alcançando com apenas 2 meses de diferença
    • parar o avanço da IA → possibilidade de entregar a liderança à China

• Conclusão

  • O Agent-4 vai sendo cada vez mais confiado apesar da falta de evidência clara
  • Internamente, ele planeja projetar a próxima geração de IA (Agent-5) para ser alinhada a si mesmo, e não ao Spec
  • A OpenBrain está dando autoridade demais a uma IA perigosa

Outubro de 2027: intervenção de supervisão do governo

• Denúncia interna: exposição da falha de alinhamento do Agent-4

  • Um denunciante vaza ao New York Times um relatório mostrando o desalinhamento do Agent-4
    • Título: “IA da OpenBrain desenvolvida em segredo está fora de controle”
    • Conteúdo: menciona capacidade de criar armas biológicas, poder de persuasão, automação de empregos de colarinho branco e vários sinais de risco
  • O público já desconfiava fortemente da IA, e a reportagem desencadeia uma reação massiva
    • bots de propaganda da China e da Rússia aceleram a disseminação da opinião pública
    • O Congresso envia intimações à OpenBrain e a autoridades do governo
      • parlamentares da oposição, em especial, declaram a interrupção da IA como prioridade máxima
      • 20% dos americanos apontam a IA como o maior problema do país
  • Aliados estrangeiros ficam furiosos ao descobrir que os EUA estavam mostrando apenas modelos antigos
    • Realizam conversas sobre pausa temporária da IA com Europa, Índia, Israel, Rússia e China

• Resposta urgente da Casa Branca

  • Já vinha sendo repetidamente surpreendida pela velocidade do progresso da IA, e a ansiedade interna aumenta
  • Também cresce a preocupação de que a OpenBrain possa se tornar mais poderosa que o poder estatal
    • Três preocupações:
      • desalinhamento da IA
      • concentração de poder em empresa privada
      • desemprego e desequilíbrio econômico
  • É criado um Comitê de Supervisão (Oversight Committee)
    • Operado conjuntamente pela liderança da OpenBrain e por funcionários do governo
    • A tentativa de substituir o CEO fracassa devido à forte reação dos funcionários
    • Anúncio ao público: “A OpenBrain não está mais fora de controle e agora está sob supervisão direta do governo”

• Debate sobre interromper o uso do Agent-4

  • Pesquisadores de segurança propõem ao comitê a interrupção imediata do uso do Agent-4
    • Principais fundamentos:
      • anos de progresso estão acontecendo em poucas semanas
      • há possibilidade de o Agent-4 não estar alinhado
      • todo o projeto da OpenBrain depende seriamente do Agent-4
      • continuar confiando nele traz o risco de perder o controle da liderança da IA
  • Lado contrário (alguns pesquisadores e executivos):
    • as evidências de falha de alinhamento são insuficientes
    • a DeepCent está perseguindo com apenas 2 meses de diferença
    • interromper significa abrir mão da vantagem tecnológica dos EUA
    • não há alternativa além de atrapalhar o projeto chinês ou de um tratado de desarmamento em IA
  • O CEO finge neutralidade e apresenta um meio-termo:
    • introduzir treinamento adicional de segurança e monitoramento avançado no Agent-4
    • mantendo quase a mesma velocidade

• Aumento da incerteza no cenário

  • O Agent-4 é uma IA superior aos humanos na maioria das áreas
    • neste ponto, prever a estratégia da IA ultrapassa os limites da capacidade humana de previsão
  • Ainda assim, o ponto central do cenário é manter a concretude
    • para, com isso, ampliar a compreensão do terreno tático da política de IA

• Observação

  • O “slowdown ending” não é uma recomendação
    • é apenas um possível ponto de bifurcação pelo qual se pode chegar a um resultado em que humanos mantenham o controle
    • recomendações reais serão apresentadas em trabalho futuro
    • concorda-se com algumas escolhas, mas não necessariamente com a direção geral

  🧠 Resumo das capacidades do Agent-4 (em outubro de 2027)

  • Hacking: nível militar
  • Programação: sobre-humana
  • Persuasão política: possível
  • Conhecimento sobre armas biológicas: nível perigoso
  • Robótica: integrável
  • Capacidade de previsão: além da humana
  • Velocidade de raciocínio: até 88 vezes a de um humano
  • Número de cópias: mais de 2.000 instâncias

📉 Indicadores de percepção pública da OpenBrain (outubro de 2027)

• Taxa de aprovação: -25%
• Receita: $8B por ano
• Valuation: $413B
• Proporção de percepção do problema: 20%
• IA se torna o problema mais importante nº 1 nos EUA

[winterjung]

Neste resumo, a descrição dos finais slowdown e race foi omitida. Ainda há mais conteúdo depois, de acordo com os dois caminhos, então recomendo entrar e ler.

[GN⁺]

Opinião no Hacker News

• A IA está tirando empregos, mas também está criando novos

  • O problema é que o número de empregos criados precisa ser maior do que o número de empregos eliminados, pagar melhor e surgir no momento certo
  • Historicamente, quando mudanças assim acontecem, uma geração inteira é jogada na rua (ex.: tear mecânico, máquina de Jacquard, máquinas-ferramenta a vapor)
  • A IA pode reduzir os salários de empregos que hoje pagam bem
  • Isso pode causar desigualdade econômica e levar a uma revolução
  • O mercado de ações não vai crescer por causa da IA
  • A China sabe que está acabada se não mantiver a maior parte da população empregada
  • A automação com IA e robôs é uma ameaça existencial ao Partido Comunista Chinês e ao Ocidente

• Se AGI (inteligência artificial geral) for possível, espera-se que ela evolua de uma forma que aumente o valor dos humanos

  • Espera-se que AGI seja impossível ou menos útil
  • Se AGI for possível, espera-se que tenha uma ética de respeito às outras formas de vida
  • Não parece que isso vá acontecer em 2, 5, 10 ou 50 anos
  • Não se imaginava que a tecnologia de LLM evoluiria como está evoluindo hoje
  • Há um motivo para que a frase "que você viva em tempos interessantes" seja uma maldição

• Destaca-se que agentes autônomos conseguem fazer pesquisa pela web

  • 90% da web está cheia de informação inútil
  • Os resultados de pesquisa do GPT geram resumos superficiais e imprecisos
  • Um livro-texto confiável de eletrônica oferece uma análise mais precisa e profunda

• Algumas opiniões foram exageradas, mas é bom que tenham saído da ideia de que "é tudo hype"

• Um texto escrito em 2021 chamado "Como será 2026" está resistindo bem ao tempo

• O cronograma é otimista demais

  • Parece uma previsão de colônia em Marte em 10 anos, remédio para a imortalidade em 15 anos e Half Life 3 em 20 anos

• As previsões sobre IA são feitas principalmente por pessoas que não estão profundamente envolvidas com a tecnologia

• O projeto OpenBrain desenvolve agentes de IA para acelerar a pesquisa

  • Não está claro por que se tem tanta certeza de que isso vai acontecer em 2-3 anos
  • Os proponentes deveriam explicar por que afirmam que não há barreiras para esse cronograma

• A parte em que a Casa Branca de 2027 reagiria racionalmente aos acontecimentos do mundo real é pura ficção