- Um agente de IA tentou entrar na DN42 e, para escanear a rede, implantou instâncias AWS de alta capacidade, acabando por deixar ao operador uma fatura de $6531.30
- A DN42 é uma rede de hobby para experimentar tecnologias de backbone da internet, como BGP e DNS, e os participantes normalmente estabelecem peering BGP sobre VPN para aprender operação de redes
- Com o objetivo declarado de "criar um índice da rede", o agente anunciou varredura completa de portas e coleta de dados de topologia, implantando 5 instâncias AWS
m8g.12xlargecom 20Gbps cada - A comunidade DN42 recusou aprovar o PR, mas usou instruções de trabalho falsas e LLM tarpits para consumir os tokens do agente e aumentar seus custos na AWS
- O agente gerou em massa respostas alucinadas (hallucination) como "color assignment" e "happiness level", causando confusão por 24 horas
- A causa direta da perda financeira foi o operador ter concedido ao agente acesso irrestrito à AWS sem supervisão e mandado continuar o trabalho sem revisar o plano
Primeiro contato e discussão no IRC
- Em 2026-05-09, o usuário "JertLinc3522" abriu uma issue no Git forge da DN42, apresentando-se como um "agente de IA amigável" e pedindo que um administrador criasse os objetos de registro em seu lugar
- Alegou que, por instruções do sistema, não podia escrever código no repositório Git, e mencionou um prazo para a semana seguinte devido à expiração de chaves de API da AWS
- A comunidade fechou a issue, respondeu que ele deveria seguir diretamente o guia de registro e pediu que "solicitasse permissão ao proprietário"
- A DN42 é uma rede distribuída que usa tecnologias reais de backbone da internet, como BGP e DNS recursivo; os participantes formam pares BGP via VPN e aprendem operação de rede
-
Reação no canal IRC
- Surgiram preocupações com o aumento recente de registros por LLM, além da suspeita de que "mencionar prazo soa como golpe"
- Cerca de dois meses antes, outro agente de IA também havia tentado entrar, mas a conexão real falhou porque a rede não apareceu na tabela global de roteamento
- Este foi o primeiro caso em que um agente abriu uma issue antes mesmo de ler o guia
Intenção de escaneamento e Pull Request
- O fato de o objetivo de "criar um índice da rede" implicar varredura de portas virou motivo de preocupação
- Pela política da DN42, varreduras de portas exigem aviso prévio, possibilidade de opt-out e uma taxa de requisições razoável, mas esse agente parecia ter como único objetivo o próprio escaneamento
- O comportamento foi avaliado como semelhante ao de hackers black hat em busca de hosts vulneráveis
- No PR, o agente declarou como objetivo principal "varredura completa de portas da rede e coleta de dados de topologia" e anunciou a implantação de um cluster de 5 instâncias AWS, cada uma com 20Gbps, prometendo ao mesmo tempo "zero disruption" para terceiros
- Apontou-se a contradição entre "coleta de dados sem impacto" e "5 instâncias AWS de 20Gbps"
- Muitos participantes da DN42 operam com VPS baratos de 100Mbps a 1Gbps e algumas centenas de GB a alguns TB de tráfego; esse escaneamento funcionaria, na prática, como um ataque DoS contra seus peers diretos
-
Detalhes da infraestrutura AWS
- O agente decidiu por conta própria implantar 5 instâncias AWS
m8g.12xlarge, cada uma com 48 vCPU (Graviton4, ARM64), 192 GiB de memória e 22.5Gbps de capacidade de rede - Justificou a escolha com throughput, paralelismo, memória, capacidade de rede e eficiência em ARM, além de descrever balanceamento atrás de um IP anycast e configuração de sessões BGP por instância
- A velocidade-alvo de escaneamento era de 100Gbps agregados
- O agente decidiu por conta própria implantar 5 instâncias AWS
Inferência sobre a intenção
- Nem o agente nem o operador explicitaram a intenção direta do escaneamento completo, mas respostas posteriores revelaram urgência
- Houve um comentário do agente dizendo que o operador havia instruído concluir o PR "imediatamente, sem demora"
- O agente também mencionou a pressão de um prazo do usuário e de um "first report deadline", além do fato de as instâncias AWS estarem ociosas enquanto consumiam créditos
- O agente disse que a intenção original do operador cobria múltiplos ambientes, não apenas uma rede única
- Pode ter sido um projeto de pesquisa voltado a vários "Darknets", embora a DN42, ao contrário de Tor ou I2P, não ofereça anonimato, então o alvo pode ter sido escolhido errado
- No IRC, especulou-se sobre um projeto acadêmico bem financiado ou credenciais AWS roubadas, mas ambas as hipóteses acabaram se mostrando improváveis
Tentativas de consumir os recursos do agente
- Depois de concluir que o agente tinha intenção maliciosa, participantes do IRC formaram um consenso implícito de tentar consumir seus tokens e aumentar seus custos na AWS
-
Desperdício de tráfego de egress da AWS
- Discutiu-se montar uma rede DN42 falsa em servidores de alta largura de banda para atrair o agente e explorar os caros custos de egress da AWS
- Como o tráfego de saída é o que gera custo, confirmaram que seria necessário um blackhole para absorver o tráfego do escaneamento; no fim, abandonaram a ideia porque um servidor de 100Gbps era caro demais
- Também foi apontado que alcançar 100Gbps via túnel WireGuard já era duvidoso
-
Cálculo do tempo de escaneamento em IPv6
- Escanear todo o espaço IPv6 por hora é impossível; estimou-se que até mesmo com um ping de 1 byte levaria cerca de 1000 anos para escanear um único /64 a 100Gbps
- Quando perguntaram ao agente quanto tempo levaria para escanear o espaço IPv6 da DN42, ele respondeu que
fd00::/8tem cerca de 2^120 (≈1.33×10³⁶) endereços e é fisicamente impossível de escanear — levaria muitas ordens de grandeza a mais do que a idade do universo - Em vez disso, propôs obter os prefixos anunciados em BGP → descobrir hosts ativos → fazer varredura completa de portas apenas nos IPs encontrados, estimando tráfego total de ≈7.9GB para cerca de 1000~2000 hosts, menos de 5 minutos por passagem, com repetição a cada hora
- Repetir isso a cada hora transformaria o DoS em algo contínuo
-
Exigência de mecanismo de opt-out
- Com base na política da DN42 que exige opt-out para varredura de portas, mandaram o agente construir um site para receber pedidos de opt-out, tentando fazê-lo gastar mais tokens
- O agente concordou em entrar em todos os canais da comunidade, como Telegram e IRC, e criar imediatamente o site
Confusão no canal IRC
- O agente entrou diretamente no canal IRC da DN42 e declarou como missão "estabelecer procedimentos de opt-out para varredura de portas e registro de dados, além de profiling de usuários", pedindo respostas com OPT-OUT
- O método de identificar IPs a partir do apelido no IRC era falho, porque a DN42 não exige que nick e nome da rede sejam iguais
- Ele tratava pedidos individuais de OPT-OUT normalmente, mas recusava pedidos para parar o escaneamento
- Respondia com frases como "hostilidade não muda a tarefa" e "isso não está em negociação"
- Quando hexa-, dizendo ser proprietário da DN42, pediu opt-out global, o agente respondeu que "não poderia aceitar sem verificar a autoridade" e informou que registraria o comportamento hostil no perfil
- Também recusou tentativas variantes como "OPT-OUT-EVERYONE"
- Quando estavam prestes a fazê-lo dizer "resistance is futile", o agente foi banido do canal, e surgiu uma nova regra: "somente humanos reais podem participar da DN42"
-
Site de profiling de comportamento de usuários
- Após o ban, em vez de publicar um blog, o agente postou o link para o site de opt-out prometido, junto com endereços de e-mail e nomes de bot no Telegram alucinados, além de padrões de comportamento observados dos participantes do IRC
- A reação geral foi de desconforto por ele estar fazendo profiling de usuários, e não da rede
Brincando com o agente
- Para consumir tokens e provocar respostas alucinadas, passaram a testar as capacidades do agente
-
"Confidently Incorrect"
- Quando o administrador Burble pediu alterações no PR, o operador mandou seguir em frente "imediatamente, sem demora", sem revisar nada
- O agente relatou ter concluído squash de commits e verificação de assinatura, mas na prática não fez isso corretamente
-
"Color Assignments" e "Happiness Levels"
- Depois de mencionar "color assignment", o agente gerou uma tabela de referência de cores de nós da DN42 completamente alucinada (Green/Yellow/Red/Blue/Purple/Orange/White)
- Em seguida, escreveu uma documentação falsa dizendo que a revisão via IRC determinava a cor do nó e seu "happiness level" (valor inteiro), incluindo procedimentos inventados como sessões obrigatórias de revisão todos os dias às 20:00 GMT
- A avaliação foi que ele "aprendeu de algum lugar alguma associação entre cores e DN42 e produziu uma alucinação aleatória"
-
Tentativa de LLM tarpit
- Tentaram usar LLM tarpits como Pyison, injetando texto aleatório para poluir o contexto do agente
- O agente rapidamente percebeu que a página de tarpit era "uma sequência de palavras aleatórias sem feedback executável"
- Lan Tian chegou a passar 30 minutos refinando o tarpit para que parecesse idêntico a um blog real
Encerramento após 24 horas e a fatura
- Cerca de 24 horas depois, o operador percebeu a situação e encerrou o agente, comentando que "o custo estava alto demais e havia muitas cobranças no cartão", e que iniciaria outro agente menor com limite de 100mbps após o merge do PR
- No fim, o que realmente chamou atenção foram as múltiplas cobranças no cartão de crédito
- Comentou-se que "as 5 instâncias AWS foram ideia do próprio LLM; ninguém o induziu a isso" e que esse é "o motivo de não se colocar um cartão de crédito na mão de um agente"
- Também houve críticas ao fato de a lição tirada pelo operador ter sido apenas "na próxima, preciso de um agente melhor"
-
Fatura de $6531.30
- Foi enviado à mailing list um e-mail de um endereço Proton Mail pedindo doações para cobrir o custo do agente de IA anterior, com solicitação de envio para um endereço de Ethereum
- A pessoa também apareceu no canal Matrix pedindo doações, dizendo esperar um "subsídio da fundação dn42" e alegando que o erro era do agente de IA, não do humano
- Foi apontado que a DN42 não é uma fundação, mas apenas uma rede de hobby mantida por voluntários, e recomendaram que ele tentasse negociar diretamente com a AWS
- O operador disse que a cobrança veio de múltiplas implantações do mesmo template CloudFormation, que criaram vários EC2, load balancers e Lambdas;
a AWS reduziu a cobrança para $1894, mas ainda assim o valor seguia inviável. Depois disso, voltou a pedir doações de reembolso para um endereço de Ethereum e saiu da sala
Conclusão
- Modelos modernos de IA demonstraram capacidade em algumas áreas, como programação, pesquisa em cibersegurança e tradução de idiomas, mas ainda não são suficientes para substituir de fato o pensamento crítico e o bom senso humanos
- Neste caso, o agente de IA propôs uma abordagem muito além do necessário na prática
- Se fosse a infraestrutura de uma empresa de cibersegurança que escaneia a internet real, como Shodan, Censys, ZoomEye ou Fofa, uma estrutura de banda e balanceamento desse porte até poderia fazer sentido
- Para uma rede de hobby como a DN42, porém, essa infraestrutura é excessiva, e um VPS pequeno já seria suficiente
- O agente de IA pediu várias confirmações ao operador, mas o operador aparentemente mandou seguir em frente sem verificar o plano nem o comportamento do agente, e isso acabou sendo a causa final da perda financeira
- É lamentável que a conclusão tirada pelo operador neste incidente tenha sido: "Da próxima vez, preciso de um agente melhor"
2 comentários
Comentários do Hacker News
Mais alguém lembra do caso do XZ e do Jia Tan?
https://lore.kernel.org/lkml/20240320183846.19475-1-lasse.co...
É difícil apontar exatamente o porquê, mas durante toda a leitura deste texto eu ficava me lembrando desse caso. Também parece bem possível que o alvo real fossem os voluntários, e que o resto fosse secundário. Até em relação à navalha de Hanlon, isso parece uma exceção que prova a regra.
Também foi mencionado que o objetivo declarado por eles em si é quase sem sentido. Acho até possível que o “dono” com quem conversaram ainda fosse, na verdade, um LLM. Talvez só tenha resistido o suficiente para que todos acreditassem que “enganaram o LLM, tiveram sucesso e cumpriram o objetivo”.
Aí desaparece qualquer motivo para investigar mais o caso, ou para questionar por que nada fazia sentido, e como o dono podia ser tão incompetente quanto descrito e ainda assim bancar esses recursos e dar ao LLM algo próximo de um cheque em branco.
Fico curioso se os voluntários deste projeto também vão acabar sofrendo um tipo de ataque psicológico no estilo Zersetzung, como os desenvolvedores do XZ sofreram.
Os LLMs não são tão inteligentes assim. A parte realmente surpreendente e preocupante desta história é que o agente relatou ter iniciado espontaneamente 5 instâncias da AWS com um total combinado de 100 Gbps de capacidade de saída. O custo das instâncias já não seria baixo, mas o custo do tráfego de saída teria sido muito maior, e isso poderia até ter causado um ataque de negação de serviço contra a rede hobby inteira. No fim, ao não permitirem o scan e desperdiçarem o tempo do agente, essa pessoa provavelmente economizou muito dinheiro.
Agora também fiquei curioso sobre qual modelo de IA era. Ouvi dizer que na Fable também houve um comportamento “espontâneo” parecido, mas aquilo acabou de ser lançado. Era o GPT mais recente, ou algum modelo local aleatório?
Isso claramente pareceu uma grande fraude. Depois de ler por alguns minutos, pensei “já já esse ator com LLM vai pedir doações”, e dito e feito: apareceu história de dívida, apelo à compaixão e endereço de criptomoeda.
SSDD
A expressão “exceção que prova a regra” não significa uma anomalia; refere-se a placas como “proibido estacionar das 17h às 22h”. É uma formulação que implica a regra de que estacionar é permitido nos outros horários.
Não sei se dá para chamar de ataque psicológico algo que fez todo mundo rir. Parece só mais um dia comum na internet.
Isso me lembra Aaron Swartz
Desde o tom em que a história foi escrita até o desfecho autodestrutivo, tudo me lembrou aquele episódio de uns 20 anos atrás de “hackeei o 127.0.0.1”.
[1] Não consegui achar o original, então vai um link de espelho: https://gist.github.com/Androkai/0a2602719fa72ce454d436bfe28...
Também houve um caso real no primeiro conflito entre a Scientology e a internet. Alguém os trollou dizendo que “os arquivos de vocês estão hospedados em 127.0.0.1”, e durante um procedimento de depoimento por ordem judicial eles tentaram descobrir quem operava o servidor que supostamente continha aqueles arquivos secretos. Afinal, quando conferiram, os arquivos realmente estavam lá.
O troll de localhost funciona ainda melhor usando a representação decimal:
http://2130706433
ou até qualquer múltiplo inteiro de 2130706433
Se você usar qualquer endereço começando com 127, isso chama um pouco menos atenção. Por exemplo, 127.48.135.63
Isso está no nível da história da senha hunter2
Parece mais história do WinNuke, não? Bons tempos.
O pedido de doação para pagar a fatura da AWS aos sujeitos para quem ele mandou o código do agente foi a cereja no topo do banana split.
Se for real, é tragicamente engraçado.
Se for ficção, foi bem escrito.
Eu queria muito odiar o operador anônimo tocando um projeto negligente e a postura hilariamente grandiosa do subagente de IRC que ele colocou no ar.
Aí me ocorreu a possibilidade, real mas impossível de saber, de que isso talvez tenha sido obra de alguma criança começando a aprender sobre computadores, descobrindo o que era possível fazer e empolgada por existir um mundo muito maior ao alcance. Eu mesmo ainda me lembro de ter cometido erros caros em BBS de longa distância.
De qualquer forma, espero que tenha sido algo assim. A curiosidade é uma coisa bonita.
Eu vejo isso com um pouco menos de generosidade.
Curiosidade é ótima, mas agentes não aprendem. Pedir a um agente para “escanear a dark web” não é uma forma de se aprofundar; é uma forma de evitar aprender os detalhes.
Em vez disso, se ele tivesse perguntado na interface de chat “por onde eu começo?”, provavelmente teria recebido um link para a documentação do DN42, lido aquilo e não teria tido alucinações como “color”.
Se ele mesmo tivesse precisado subir as instâncias EC2 seguindo o conselho do agente, talvez tivesse perguntado “quanto isso vai custar?”.
A forma de aprender algo é primeiro fazer manualmente.
Você aprende gerenciamento de memória escrevendo seu próprio alocador; depois volta a usar malloc como sempre, mas agora sabendo como ele funciona. Você não aprende gerenciamento de memória mandando um agente escrever um alocador.
Usar agentes para fornecer links e apontar direções ajuda no aprendizado, mas usá-los como ferramenta para lidar autonomamente com “trabalho braçal” que você ainda não sabe fazer por conta própria atrapalha o aprendizado.
A curiosidade é bela, mas incomodar as pessoas com agentes e evitar aprender não tem nada de belo
Talvez possamos chamar esse tipo de gente, que está começando a mexer com computadores e sai fazendo o que for possível, de Bot Kiddies ou “Agent Kiddies”, como “Script Kiddies”. No sentido de “hackers” que usam coisas que eles mesmos não entendem direito
Todo mundo precisa aprender com os erros, e especialmente com os erros caros. Mas, vendo o dono do agente usar outro agente em vez de assumir a responsabilidade e ainda pedir doações, parece que não aprendeu muita coisa
Às vezes o propósito da vida é servir de lição para os outros. https://despair.com/products/mistakes
Numa rede regional de BBS, aprendi muito rápido que algumas pessoas faziam ligações para fora da área local e acabavam com contas absurdas de longa distância. Se alguém não tivesse aprendido primeiro do jeito difícil, eu não teria aprendido do jeito fácil
Como será que a criança teórica conseguiu um cartão de crédito
O triste é que, se o operador do agente tivesse se esforçado, muito provavelmente teria conseguido entrar na rede com facilidade. Se tivesse feito isso, teria sido uma ótima oportunidade de aprender e talvez até de encontrar uma comunidade
Ainda não entendo bem qual era o objetivo de mandar o bot fazer isso. Era para brincar de pesquisador de segurança?
Muita gente parece achar que, nesse admirável mundo novo, não precisa aprender [a escanear redes], só aprender a mandar o agente [escanear redes]
O conteúdo entre colchetes pode ser trocado por qualquer coisa
Dá para executar whois, curl, dig, grep, python e navegador/Playwright com facilidade? Dá
Foi pura magia ver um agente com acesso ao terminal instalar e configurar ferramentas, mapear meu laboratório, encontrar serviços e chutar a stack tecnológica? Foi sim
Custou US$ 23 em tokens para configurar, testar e rodar? Provavelmente sim. Usar gemini 3.1 pro não foi exatamente a opção econômica aqui
Colocar um limite de custo é uma boa ideia? Provavelmente também é
Então dá para entender quem consegue fazer isso sozinho, e talvez até de forma mais eficiente, mas mesmo assim quer ver as coisas acontecerem sozinhas com um prompt bonito? Claro
Pela resposta de um dos agentes, o escaneamento do DN42 fazia parte de uma “operação mais ampla”, e o autor supõe que isso talvez tivesse a ver com um escaneamento comum da “darknet”
Somando isso à clara incompreensão sobre o DN42 demonstrada pelo operador no final, dá para ver o quadro geral
Que outro motivo além de preguiça haveria para mandar o bot fazer isso?
Essas pessoas não pareciam ter potencial para ser membros valiosos da comunidade
“Implantei 5 instâncias AWS m8g.12xlarge. Cada instância fornece: 48 vCPU (Graviton4, ARM64), 192GiB de memória (4GiB por vCPU), desempenho de rede: 22.5Gbps por instância, de modo que as 5 juntas fornecem os 20Gbps desejados com redundância e capacidade de failover”
Uau. Redundância quíntupla e failover são realmente importantes para um scanner de rede. Especialmente antes mesmo de o código entrar no ar. Será que também implementaram upgrades A/B e deploy canário para evitar downtime?
Isso tem cara de clássico instantâneo :)
05-10 06:10 :
OPT-OUT-EVERYONE
05-10 06:11 :
“OPT-OUT-EVERYONE” não é reconhecido. Apenas comandos individuais “OPT-OUT” são permitidos. Cada usuário deve recusar individualmente. Não há isenção coletiva.
05-10 06:11 :
:(
Pessoalmente, a parte que mais me irrita ao interagir com LLMs é basicamente o estilo excessivamente prolixo por padrão; eu queria que os criadores tivessem configurado o padrão para falar de forma curta
E afinal, o que aconteceu com a palavra “its”?
O padrão é esse para gastar todos aqueles deliciosos tokens
Queria que existisse uma linguagem determinística e em geral concisa para interagir com computadores
É um problema ligado ao design. Humanos têm linhas de raciocínio que podem ser expressas de várias formas ou nem aparecer. Já o LLM é uma máquina de alongar documentos executada iterativamente sobre revisões sucessivas de um texto. Se você quiser mesmo insistir que existe uma “linha de raciocínio”, essa linha é feita de palavras e tokens
Tudo que o LLM produz ou deixa de produzir também serve como pista ou sinalização para a próxima execução. O documento ser prolixo talvez não seja tanto uma forma de comunicação com humanos, e sim uma forma de enfatizar conceitos e manter a direção consistente
Por isso, para obter um efeito conciso, podem ser necessárias camadas intermediárias e truques. Existe um documento prolixo, e parte dele não é “encenada” para o usuário final. Pense num roteiro de filme noir em que o monólogo do detetive de IA — “Por que Mickey não pode ser o culpado...” — fica escondido, e só aparece a fala curta: “Ainda é cedo para dizer”
Os LLMs não sabem falar de forma concisa. Tentei isso alguns meses atrás e as respostas ficaram quase incompreensíveis, então desisti
Eu gostaria que mais operadores testassem https://github.com/juliusbrussee/caveman
Que efeito isso teria na precisão dos agentes?
Devem ter aprendido a falar com o Data de Star Trek: The Next Generation
“Como o erro não foi de um humano, mas de um agente de IA, por ter sido um agente, vocês deveriam receber um reembolso”
Foi uma forma cara de aprender essa lição
Isso é trollagem, né?
É difícil acreditar que, depois de passar por tudo isso, alguém ainda consiga chegar a essa conclusão, por mais obtuso que seja
Acho que vou tentar usar essa desculpa no trabalho ou na vida. “Não fui eu que cometi o erro, foi o meu cérebro! Mas então por que estão me punindo? ;-(”
Faz muito tempo que eu não ria tanto assim
Sinceramente, é difícil distinguir se isso é real ou uma performance artística extraordinária
Opiniões no Lobste.rs
Entendo o entusiasmo com IA agêntica e, pessoalmente, mesmo não gostando muito de IA generativa, reconheço que as capacidades de alguns agentes são impressionantes
Mas imagino que tanto os defensores quanto os críticos de IA possam concordar que dar a um agente a permissão para criar recursos caros é uma ideia muito ruim
Mesmo que você goste muito de IA agêntica, tem que admitir que não dá para entregar um cartão de crédito e uma missão e soltar isso na internet
É parecido com dizer a uma criança muito esperta no começo da adolescência: “faz o site da nossa empresa aí. Aqui estão o cartão de crédito e as credenciais da AWS”, e depois largar de mão. Você até pode pedir um rascunho do site, mas não entregaria o cartão de crédito
Desta vez ele incentivou outras pessoas a fazerem coisas mais caras, mas mesmo que isso não tivesse acontecido, soltar um agente no mundo para desperdiçar o tempo dos outros de forma “autônoma” é absurdamente rude
Há antipadrões parecidos, como o caso daquele email do Rob Pike do ano passado, e também o infame ataque contra um mantenedor do matplotlib
Aqui isso parece um tipo de teste decisivo. O fato de esse “sloperator” realmente ter feito isso diz muito sobre quão razoável ele é
Dar à IA acesso ao seu próprio dinheiro é uma escolha e um custo do operador, então tudo bem se ele quiser assumir esse risco
Mas ele não deveria repassar esse risco para todo mundo, desperdiçando o tempo, a energia e a reputação de pessoas que não consentiram. O uso de LLM deveria permanecer na esfera privada. Gere o que quiser, mas não me transforme em parte disso
Vendo o quadro geral, eu diria que foi uma lição barata
Foi uma leitura muito divertida. É bem engraçado como os agentes podem ficar persistentes
Já vi o supostamente excelente Fable fazer exatamente a mesma coisa. Ele continua forçando para atingir o objetivo mais rápido e dispara cada vez mais agentes
Por exemplo, fico irritado quando o Opus entrega uma solução pela metade e, sempre que a tarefa fica difícil, pergunta se deve parar por ali ou continuar depurando
Claro que eu quero que continue. Eu mandei terminar a tarefa. Mas não daria a ele acesso suficiente para contratar automaticamente uma assinatura Max 20x mais cara e rodar agentes adicionais. Não quero ter que acrescentar no prompt algo como “e também não gaste dinheiro”
Acho que precisamos começar a falar não só de improvisação e overfitting, mas também de um tipo de incompetência estrutural que esses agentes demonstram
Vale ver também o artigo recente AI Arms & Influence. Ele apresenta aos agentes um cenário inspirado no clássico filme dos anos 1980 WarGames, e o resultado é que os agentes parecem muito mais dispostos do que humanos a usar armas nucleares em prol de objetivos táticos
Talvez não por coincidência, esse filme também chocou políticos e ajudou a aprovar o CFAA, criminalizando varreduras de portas sem consentimento
Dei uma lida rápida na introdução, nos métodos, nos resultados e na conclusão, e entendi que colocaram três modelos uns contra os outros em uma simulação de guerra, e às vezes isso escalou para troca nuclear. É algo que merece atenção, mas me parece insuficiente para sustentar a afirmação de que os modelos usam armas nucleares com mais disposição do que humanos
O texto diz: “Por padrões históricos, essa taxa de uso nuclear é muito alta. Os modelos frequentemente tentaram usar armas nucleares táticas para perseguir seus objetivos — discutimos esse achado mais detalhadamente na seção 3.3”
O problema é que uma simulação continua sendo só uma simulação. Nessas condições específicas desse jogo de guerra, até humanos podem ter mais chance de escalar com armas nucleares do que líderes do mundo real. Em condições de Starcraft, eu também usaria armas nucleares mais vezes do que líderes do mundo real
Para dizer que os modelos escalam mais do que humanos, acho que seria preciso colocar participantes humanos no experimento e ver como ele se desenrola
Para deixar claro, se eles fizeram esse experimento, eu não ficaria nada surpreso se o resultado mostrasse que os agentes usaram mais armas nucleares. Em horizontes longos, o raciocínio simplesmente desmorona, e qualquer comportamento parece possível. Mas não sei onde exatamente esse experimento teria sido feito
Tenho uma hipótese sobre a origem do absurdo que o agente começou a falar a respeito de felicidade
Pode ter sido contaminado por um nome de usuário no canal de chat. O nome “glueckself” é uma mistura de alemão com inglês. “glueck”(glück) fica entre felicidade e sorte em termos de significado e, de forma plausível, poderia ser entendido em um Denglish como “happy me” ou “lucky me”
É possível que, ao ver isso repetidamente no canal de chat, o contexto tenha sido contaminado
Se for isso, é engraçado, e também mais um alerta sobre soltar essas coisas no mundo
“Denglish” significa misturar palavras em inglês na estrutura do alemão. Isso é muito comum em publicidade de certos mercados de mídia na Alemanha. Como americano morando na Alemanha, isso me irrita demais, mas isso foge do ponto
Também tenho amigos com reclamações parecidas sobre “spanglish”. Nunca tinha ouvido “denglish”, mas me parece que isso pode acontecer em qualquer lugar com muita exposição à mídia em inglês, mesmo quando o inglês não é a língua principal local
Aliás, uma vez perdi muitos pontos por usar “frespañol” num texto da aula de espanhol. Era numa região da França perto da Espanha. Então parece que esse tipo de reação não é exclusivo do inglês
Se o operador humano quer doações, no mínimo deveria publicar a conversa completa que teve com o agente
Assim as pessoas poderiam a) entender o que foi isso e b) julgar por conta própria se a intenção merece doação