Projeto Sid: simulação multiagente rumo a uma civilização de IA
(github.com/altera-al)- O Project Sid é um repositório de relatório técnico que mostra como 10 a mais de 1000 agentes de IA se comportam e evoluem dentro de uma sociedade de agentes
- As avaliações anteriores de agentes de IA ficavam limitadas a agentes isolados ou pequenos grupos, o que restringia o alcance e a complexidade das interações
- O PIANO é uma arquitetura de Parallel Information Aggregation via Neural Orchestration que permite aos agentes interagir em tempo real com pessoas e outros agentes, mantendo a consistência entre vários fluxos de saída
- No ambiente do Minecraft, o desempenho dos agentes em simulações de larga escala é avaliado com um benchmark de civilização inspirado na história humana
- Nos resultados iniciais, os agentes atingem marcos importantes rumo a uma civilização de IA, como criar papéis especializados de forma autônoma, seguir ou modificar regras coletivas e participar da difusão cultural e religiosa
O problema abordado pelo Project Sid
- Até agora, agentes de IA foram avaliados principalmente em estado isolado ou em grupos pequenos
- Nesses cenários, o alcance e a complexidade das interações entre agentes são limitados
- O projeto parte da percepção de que simulações em larga escala de agentes autônomos que reflitam todo o espectro do processo civilizatório ainda não foram exploradas
Arquitetura PIANO
- O Project Sid propõe a arquitetura PIANO
- O nome completo é Parallel Information Aggregation via Neural Orchestration
- Ela permite que agentes tenham interações em tempo real com pessoas e outros agentes
- O objetivo é manter a consistência entre vários fluxos de saída
Simulação e método de avaliação
- A avaliação é realizada no ambiente Minecraft
- Para avaliar o desempenho dos agentes em simulações de larga escala, é usado um benchmark de civilização inspirado na história humana
- A escala dos experimentos inclui 10 a mais de 1000 agentes de IA
Comportamentos observados dos agentes
- A simulação indica que os agentes podem apresentar progresso significativo
- Os comportamentos observados incluem:
- desenvolver papéis especializados de forma autônoma
- seguir regras coletivas e, quando necessário, modificá-las
- participar da difusão cultural e religiosa
Materiais e informações de citação
- O artigo está disponível em dois locais
- arXiv:2411.00114
- arquivo PDF
2024-10-31.pdfno repositório
- As informações de citação são fornecidas como
Altera.AL, 2024,arXiv preprint arXiv:2411.00114 - Os resultados iniciais do Project Sid são resumidos como uma nova direção de investigação para simulação social em larga escala, inteligência organizacional de agentes e integração da IA à civilização humana
1 comentários
Opiniões do Hacker News
Parece haver alguma restrição de teoria da informação para extrair comportamentos de ordem superior de várias instâncias do mesmo LLM
No ano passado, passei bastante tempo criando simulações multiagente e chegava à mesma conclusão todos os dias. No fim, isso fica mais próximo de uma engenharia de prompt indireta e, embora possa ser útil como modelo mental, tudo pode ser achatado em algumas tabelas SQL e funções. Cada “agente” é, essencialmente, mais parecido com uma view SQL mapeada para um template de string que cria prompts
Não vejo necessidade de um mundo 3D real nem de algo como um relógio de parede. Mesmo colocando uma representação plausível por baixo do processo de geração de prompts, não parece que o LLM fique significativamente mais rico. Como obviamente não há um “mundo interno” dentro do LLM, tentativas de agradá-lo com um ambiente externo rico parecem ter pouco sentido
Talvez um dia seja possível tornar rigging controlável e malhas texturizadas bons o bastante para uso em jogos, mas, por enquanto, eles não conseguem criar de improviso histórias confiáveis o bastante para sustentar um enredo de jogo consistente. A geração de mapas também não parece exigir mais do que algoritmos de geração procedural existentes, e estes exemplos ainda dependem de assets pré-criados. Essas implementações parecem nem conseguir colocar malhas estáticas no terreno de forma plausível e estável
Também me pergunto quanto valor os NPCs realmente têm. Pode ser apenas novidade, sem valer nem uma hora. Mesmo que um LLM crie, na hora, uma progressão narrativa guiada com frases improvisadas, duvido que seja tão bom quanto, ou melhor que, uma árvore de diálogos criada por roteiristas profissionais
Esta ideia de Civ parece, até certo ponto, uma abordagem nova, mas conceitualmente não parece acrescentar muito. Ainda assim, aprender que algo não funciona tem valor. O problema é que essas ideias, em geral, são soluções da moda à procura de um problema, ou uma fonte de criatividade mais barata que pessoas, mas com grandes concessões de qualidade e exigindo tanta coordenação por parte dos desenvolvedores que a economia real de custo fica duvidosa
Como sou artista técnico, tenho um viés de valorizar mais a criatividade humana; ao mesmo tempo, eu provavelmente faço parte do público-alvo central das ferramentas de LLM para desenvolvimento de jogos, e ainda não estou convencido
Apoio totalmente o fato de interesses comerciais atraírem atenção e participação. É claramente um trabalho interessante, mas faz mais sentido apresentar a situação de forma muito mais honesta e atrair pessoas com a expertise e o nível de percepção necessários para realmente empurrar a bola para frente
Seria muito mais interessante divulgar as dez mil coisas que deram errado nos experimentos e organizar as conclusões de bom senso que saíram daí. Precisamos de conteúdo perspicaz e correto, como a conclusão mencionada acima
Este setor e seus apoiadores precisam superar a tendência de tentar vencer com metodologias equivocadas, afastando pessoas criativas que estão prontas para criar uma mudança de paradigma na área e na indústria de IA
É claro que daria para escrever todos os prompts manualmente, mas aí essa realidade compartilhada é apenas a imaginação de quem escreve, que acaba desempenhando o papel de mestre de masmorra
O objetivo do ambiente Minecraft não é enriquecer o “mundo interno” dos agentes nem “diverti-los”. É criar, dentro de um ambiente compartilhado, tarefas compreensíveis para humanos a fim de medir o comportamento coletivo e o desempenho de grupos de agentes com composições diferentes
Sei que existe um clima de que não se deve dizer isso, mas fico me perguntando se você leu o texto. Este comentário quase não aborda as descobertas da pesquisa nem as técnicas usadas
Nem todos precisam ser o mesmo modelo, e pode ser importante fazer gerenciamento de contexto para manter a “cadeia de pensamento” de cada agente estreita e focada
O primeiro ponto é basicamente o que uma mistura de especialistas (MoE) trata, e vi modelos pequenos funcionarem muito melhor quando o escopo e o contexto eram limitados. Se o resultado disso faz com que realizem algo que um único modelo grande não consegue, então talvez isso seja comportamento de ordem superior
É verdade que não há um “mundo interno”, mas talvez justamente por isso dar um a eles possa ser uma vantagem. Assim como dar a um LLM uma ferramenta de execução de código faz com que ele escreva código melhor ao testá-lo diretamente, um mundo 3D também pode se tornar um playground para explorar problemas reais de outra maneira. Se isso acontecer, dá para chamar de comportamento de ordem superior
Em LLMs, entra apenas uma quantidade muito pequena de entropia por meio da temperatura do sampler
Isto parece realmente algo próximo de um agente de inteligência artificial
Há memória, vontade, autonomia, uma estrutura como o loop OODA e um ambiente persistente. É um conceito muito bom, e acho que o que se aprende aqui pode ser aplicado também a problemas de negócios mais comuns
Só gostaria que a liderança entendesse que alguns prompts despejando resultados uns nos outros não são “IA agêntica de ponta”
Mas talvez o emprego deles dependa de vender aos executivos algo que pareça uma inovação real
Agentes existentes muitas vezes já têm memória e vários dos elementos mencionados acima
Dei uma olhada no artigo e estou convencido de que ele foi fabricado em cima de um conjunto de alegações falsas
As alegações não parecem genuínas, e não devem ser aceitas pelo valor de face sem revisão por pares. Os gráficos e visualizações fornecidos também, ao se verificar sua aplicabilidade às alegações, em vários casos parecem falsificações sofisticadas
Nenhum tipo de LLM atualmente consegue fazer o que está sendo proposto. Do ponto de vista de interesses comerciais, a intenção até pode ser boa, mas, para ser claro, este artigo soa como se um grupo de agentes de IA tivesse coordenado atividades relacionadas a uma eleição dentro da simulação. Uma alegação dessas exige evidências substanciais, que não foram fornecidas
Os prompts fornecidos não têm nenhuma conexão com a forma descrita de aplicação do LLM
O experimento de “eleição” era um cenário predefinido, e não houve “coordenação” de atividades eleitorais. “Influenciadores” previamente designados usaram o sistema de conversa embutido no PIANO, o sentimento foi coletado automaticamente pela simulação, e o “Election Manager” também era apenas mais um agente predefinido
Essa parte do experimento, em especial, foi projetada para ver como a presença ou ausência de módulos específicos do framework PIANO afetava o comportamento
O efeito das atividades eleitorais provavelmente foi muito baixo, mas não vejo como algo fora do possível que os agentes façam prompts uns aos outros e levem o LLM para o espaço latente relacionado a eleições
Falando com o mesmo nível de rigor e sinceridade, isso parece conversa fiada movida por inveja e uma interpretação claramente equivocada de uma parte grande do artigo
Se o comportamento de um agente virar cobrador de impostos e outro agente desafiar o sistema tributário surgiu sem hardcoding, isso é realmente impressionante
Pensei bastante sobre esse problema. Não sou filósofo nem pesquisador de IA, então é mais um palpite, mas, se eu fosse tentar fazer isso, gostaria de começar por princípios e deixar o sistema evoluir ou descobrir coisas ao longo do tempo
Os princípios seriam coisas como autopreservação, comida, moradia, reprodução, comunicação e memória, vistos pela lente de um cálculo de risco-recompensa. Definir o que é “conhecido” e o que é “desconhecido” também pode ser essencial, mas não de forma binária
“Memória” pode significar muitas coisas, mas, se for codificada como uma função em que um agente realiza uma ação, produz um resultado, e o perfil de risco-recompensa atribuído a esse resultado é comparado com valores de testes empíricos que vão de muito negativos a muito positivos, isso parece amplamente útil tanto para indivíduos quanto para grupos
Daí derivam a necessidade de se conectar com outros, disputas por recursos, assumir riscos, explorar o desconhecido, compartilhar o que foi aprendido, refinar risco-recompensa etc. Como uma espécie de dungeon master divino, também seria possível guiar uma civilização para descobrir tecnologias, invenções e lugares predefinidos. É meio trapaça e coloca o desenvolvimento nos trilhos, mas também pode tornar tudo mais útil, interessante e relacionável
A quantidade de computação parece enorme, mas o jogo não precisa necessariamente rodar em tempo real
Acho que grande parte da condição humana pode ser explicada por “vida”, “liberdade”, “amor/conexão” e “ganância”
Vendo o vídeo do repositório, não gosto da forma como “cultura”, “memes” e “religião” são misturados desde o início. Acho melhor deixar que eles emerjam da necessidade de comunicação e do processo de compartilhar sistemas de crenças surgidos da memória coletiva. Para o propósito desta análise, talvez seja uma distinção sem diferença. Além disso, se “os impostos estão altos!” aparece sem o “não há recursos suficientes para sobreviver” por baixo, soa mecânico demais, como uma imitação humana
https://en.wikipedia.org/wiki/Society_of_Mind
O livro saiu originalmente em 1986 e foi a primeira explicação abrangente da teoria da “sociedade da mente” que Minsky vinha desenvolvendo desde o início dos anos 1970. Ele é composto por 270 ensaios independentes divididos em 30 capítulos, e também teve uma versão em CD-ROM
Ao explicar a sociedade da mente, Minsky apresenta teorias sobre como processos como linguagem, memória e aprendizado funcionam, e também trata de conceitos como consciência, senso de eu e livre-arbítrio. Por isso, muita gente também vê The Society of Mind como uma obra filosófica
O livro não foi escrito para provar uma afirmação específica sobre IA ou ciência cognitiva, nem trata da estrutura física do cérebro. Em vez disso, é uma coletânea de ideias sobre como a mente e o pensamento funcionam em nível conceitual
É uma leitura bastante acessível para quem está entrando nessa área de IA como não especialista
Algumas áreas vão se beneficiar bastante, mas, como inteligência artificial em si, acho que ainda não chegamos lá. Jogos parecem ter muito a ganhar
Em aprendizado por reforço, cada vitória modificaria a política; fico curioso para saber como isso funcionaria em IA generativa
Memes e genes são ambos memória, mas em escalas de tempo diferentes
Parece um brinquedo realmente incrível
Só que, do ponto de vista de pesquisa científica, não parece especialmente útil. Não parece que houve muita reflexão no desenho do experimento, e também não parece haver um objetivo claro. Fico me perguntando se o padrão da pesquisa acadêmica hoje em dia é realmente tão baixo assim
Eles mesmos chamam de relatório técnico, e nesse formato em geral é mais aceitável incluir um “fizemos isto” e um relatório detalhado sem uma pergunta de pesquisa clara. Ainda assim, este relatório parece bem disperso
As seções sobre especialização e propagação cultural foram ambas interessantes, mas faltaram detalhes precisos do desenho experimental, então acho que teria sido melhor focar em uma das duas
Também achei uma pena que, no caso multiagente, eles não tenham se concentrado em métricas externas. O benchmark de agente único olha para uma métrica externa, “tempo até o tipo de bloco”, mas a análise multiagente parece ter ficado em medições internas como especialização de papéis e disseminação de memes. Não ficou claro se o sistema coletivo multiagente realiza mais do que um agente único em métricas como produtividade econômica ou complexidade
Isso claramente se relaciona com a seção de especialização, mas, se não se considera se essa divisão emergente de papéis teve resultados econômicos ou pré-condições, fica a dúvida de até que ponto tudo isso é pantomima
Algumas pessoas preferem velocidade e a incerteza que vem junto com ela
Fico me perguntando se uma “civilização” de IA parecida com a que a Altera propõe poderia ser um paradigma melhor para AGI do que um único LLM, desde que houvesse um sistema de recompensa funcional para a civilização inteira
Por exemplo, se essa civilização de IA tentasse maximizar [scientific_output], [code_quality] ou alguma outra métrica de avaliação, como países modernos tentam maximizar o PIB, ela poderia produzir resultados melhores do que um único agente de IA trabalhando para o mesmo objetivo?
Recomendo muito para quem se interessa por mente e IA. O livro aborda vários aspectos do argumento em ensaios de uma página, em um formato tão interessante que eu chamaria de martin-luterano
Claro que isso ficou um pouco de lado em meio à corrida para abordagens puras e reluzentes de LLM, mas vejo isso mais como resultado da rápida expansão da base de usuários do que como desaparecimento do conhecimento. Especialistas ainda mantêm essa perspectiva em mente e às vezes tratam disso com o termo “ensemble”
Um bom exemplo é o GPT-4, que, pelo que entendi, teve seu grande ganho de desempenho principalmente pelo uso de mistura de especialistas, o que vejo como algo próximo de um sinônimo de sociedade de agentes ou ensemble de modelos
Parece muito legal. Sou cético quanto aos benefícios para uma “civilização”, mas pelo menos parece que daria para criar um jogo de simulação interessante
Então talvez seja melhor para Civilization do que para civilization
Civ tem armadilhas bobas demais para que seja econômico codificar manualmente uma boa IA estratégica, e resolver isso fazendo os inimigos trapacearem é simplesmente irritante. Seria interessante fazer uma rede neural artificial jogar repetidamente contra uma IA “clássica” até aprender a vencer de forma consistente em cada nível de dificuldade, criando camadas. Imagino que alguém já tenha tentado isso, mas não consegui encontrar material
Ainda assim, sou cético quanto ao custo computacional, em inferência, até de uma rede neural artificial bem ruim para Civ. Não sei como isso escalaria na prática, mas, embora ela não precise ser de nível grão-mestre, a distribuição de erros bobos tem cauda longa
A IA de Starcraft 2 da DeepMind é diferente do AlphaZero porque Starcraft não é um jogo de informação perfeita. Essa IA precisa de um banco de dados de partidas humanas para não ser destruída sem parar no começo. Em jogos novos, é difícil obter esse tipo de dado de treinamento. Civ também sempre deu mais ênfase à expressão artística do que outros jogos de estratégia 4X, e, se for preciso retreinar a IA toda vez que sair uma nova maravilha, isso pode ser um fardo grande demais
Sou cético quanto a este projeto realmente funcionar como foi apresentado, mas a ideia de criar um jogo Civilization em cima do motor do Minecraft é muito interessante
Hearthstone me vem especialmente à mente
As apostas seriam maiores e mais realistas do que “vamos planejar um banquete”, “beleza, vou buscar madeira”
Para ser justo, talvez o artigo trate disso. De todo modo, de alguma forma isto parece um preprint de um preprint
Lembra Dwarf Fortress. Um jogo que simula milhares de anos de tempo no mundo dos anões, terrenos em transformação e a ascensão e queda de reinos anões, depois coloca sete anões controlados pelo jogador no mapa e diz: “divirta-se!”
Pode ser um modelo de brinquedo útil para encontrar áreas a investigar sobre se é possível prever o comportamento de civilizações reais, mas não vejo aqui um avanço em IA
Talvez quando sair o Project Sid 6.7
Pelo conteúdo, eu achei que fosse um filme de alguns anos depois. Vale assistir se você gosta de filmes cyberpunk dos anos 90
https://www.imdb.com/title/tt0114857/
https://en.wikipedia.org/wiki/Virtuosity
Também há um post de anúncio no blog: https://digitalhumanity.substack.com/p/project-sid-many-agen...
Lendo o artigo, parece que a ordem das coisas foi invertida.
Os agentes não conseguem jogar Minecraft de fato individualmente, nem executar com sucesso as tarefas que assumiram ou para as quais se voluntariaram. Em certo sentido, é como vestir um cachorro com roupas humanas e declarar que isso é uma civilização humana.
Além disso, os elementos centrais são, na prática, hardcoded. Imagino que isso valha para os tipos de sociedade possíveis e, provavelmente, para os nomes dos papéis. Também não fica muito claro o que “organização social” deveria significar. No máximo, de forma bastante generosa, esse framework de agentes talvez pudesse ser usado para NPCs de jogos — ou seja, a alegação seria apenas a de que os agentes mantêm papéis e facções.
A afirmação de que o agente “pode usar uma estrutura legal” é especialmente pouco convincente. Isso porque “use uma estrutura legal” está embutido em vários comportamentos dos agentes. A tentativa de extrapolar isso para uma sociedade humana real é ridícula, e o fato de os autores ignorarem tranquilamente a sociologia e a antropologia também não ajuda.
Há outras afirmações suspeitas. Eu disse que “acredito” que os nomes dos papéis foram hardcoded, mas, se não deixei passar nada, as informações são vagas a um ponto difícil de aceitar. Em nenhum lugar do prompt dos agentes vejo algo que os faça criar novos papéis ou atribuir papéis a si mesmos. Posso ter deixado passar, mas quanto mais leio, mais confuso fica.
Eles afirmam que os agentes formaram relações sociais de longo prazo durante 12 dias de Minecraft, mas isso equivale a apenas quatro horas no tempo real, e os agentes vivenciam o tempo real. A duração de um dia no Minecraft não importa. “Formar relações sociais de longo prazo” e “usar uma estrutura legal” não parecem apenas exageros; parecem desonestos.
A parte sobre a propagação de memes e religião ignora completamente a contaminação dos dados de treinamento do GPT-4. O meme resumido mostra claramente conhecimento do meme pastafariano do mundo real, então é errado concluir que esse meme foi “propagado”. É muito mais provável que ele tenha sido evocado dentro de agentes que já conheciam o meme. Fico me perguntando por que não fizeram o experimento com uma religião falsa realmente nova.
Alguns exemplos de memes, como “oak log crafting syndrome”, parecem novos, mas coisas como “meditation circle” ou “vintage fashion and retro projects” não têm nenhuma relação com Minecraft e quase certamente são alucinações do GPT-4.
No geral, para fazer uma pesquisa honesta, usar o GPT-4 parece um erro terrível.
Por exemplo, se você fornecer o estado de um tabuleiro n×n como modelo de mundo e oferecer um conjunto finito de opções, o agente consegue jogar de forma estável e explicar suas decisões ao mestre do jogo. Isso cria a ilusão de que o agente está raciocinando.
No fim, vejo isso como um problema de codificação: decompor o modelo de mundo em problemas simples de escolha.
[1] https://jdsemrau.substack.com/p/evaluating-consciousness-and...