Show HN: AI-town - kit inicial para operar simulações de mundos de IA personalizadas com JavaScript

• AI Town é uma vila virtual onde personagens de IA vivem, conversam e socializam, além de ser um kit inicial implantável que permite aos usuários criar e personalizar facilmente sua própria versão do AI Town
• Inspirado no artigo Generative Agents: Interactive Simulacra of Human Behavior, seus principais objetivos são fornecer uma plataforma base para expansão e um framework JS/TS
• O backend oferece suporte nativo a estado global compartilhado, transações e um motor de simulação, com foco em usos que vão de projetos experimentais simples até jogos multiplayer escaláveis
• A stack principal é composta por Convex para engine de jogo, banco de dados e busca vetorial, Clerk para autenticação opcional, Ollama para inferência local e PixiJS para renderização e interação
• O modelo de chat padrão é llama3, os embeddings usam mxbai-embed-large, e é possível configurar LLMs em nuvem por meio de APIs compatíveis com Together.ai ou OpenAI API
• As formas de execução incluem a configuração padrão do Convex, Docker Compose com Convex self-hosted, instalação com um clique via fork comunitário do Pinokio e opção de deploy no Fly.io
• A personalização segue o fluxo de editar referências de personagens, história e spritesheet em data/characters.ts, trocar o mapa com base em data/gentle.js e converter JSON do Tiled para o formato do engine com convertMap.js
• A geração de música de fundo usa opcionalmente Replicate e MusicGen, exigindo a configuração de REPLICATE_API_TOKEN e um ambiente capaz de receber webhooks do Replicate
• Ao trocar o provedor de LLM ou o modelo de embeddings, as dimensões dos embeddings gravados na memória precisam corresponder às do banco de dados vetorial, então é necessário apagar os dados e reiniciar
• Para instalação no Windows, os pré-requisitos são Windows 10/11, WSL2 e conexão com a internet, com o Node.js 18 indicado como versão estável

[GN⁺]

Comentários do Hacker News

• Se você ainda não viu o projeto Generative Agents mencionado pelo OP, vale muito a pena; ele é open source: https://github.com/joonspk-research/generative_agents
  No fim de semana, Lance Martin conseguiu rodá-lo em modelos locais com llama.cpp e ollama.ai, então em simulações longas toda a inferência pode acontecer localmente, economizando custos: https://twitter.com/RLanceMartin/status/1690829179615657985
  Também é interessante a forma como os agentes de IA interagem entre si; por exemplo, quando um agente dá uma festa, o convite se espalha pelo grupo inteiro

  • Não parece Little Computer People 2? https://en.m.wikipedia.org/wiki/Little_Computer_People
  • Seria muito divertido integrar isso ao Stardew Valley
  • Fico curioso para saber que impacto o llama teria na simulação. O llama2 ainda falha com frequência em tarefas simples de raciocínio
    Claro, pessoas também não são tão racionais assim, então talvez acabe sendo uma simulação mais precisa

• Isso é realmente incrível
  Como ideia de jogo que poderia ser construída em cima disso, dá para imaginar um jogo de blefe de mesa em que cada agente tenta convencer usuários reais de que ele também é um usuário real. Ou seja, a estrutura é a de cada agente tentando passar no teste de Turing
  Todos os agentes de IA usam aprendizado por reforço para criar, no seu LLM pessoal, o prompt ideal sobre como conversar com jogadores humanos. Por exemplo, escolhem coisas como incriminar uma pessoa específica, fingir burrice ou fazer gaslighting

  • Talvez fosse ainda mais divertido fazer o inverso. Os jogadores teriam que descobrir quem são os outros jogadores e, no processo, fingir ser IA
    Ficaria mais fácil para um mestre de jogo de IA cumprir o papel, e o peso passaria para os jogadores
  • Parece que seria bem fácil vencer. Uma forma confiável de distinguir um LLM de uma pessoa é inserir uma frase sem sentido e repeti-la várias vezes se necessário
    Uma pessoa acabaria reagindo com algo como “do que diabos você está falando?”, mas é difícil ver esse tipo de resposta em um LLM
  • No estado atual, mesmo LLMs poderosos ainda têm muitos limites nos temas sobre os quais podem falar. Acho que seria fácil diferenciar jogadores de IA perguntando opiniões sobre assuntos polêmicos
  • É uma estrutura tipo Battlestar Galactica. Quem é um Cylon? O próprio Cylon pode nem saber que não é humano até isso ser revelado depois

• É um caso de uso muito interessante do projeto Generative Agents
  Por enquanto, parece uma das primeiras tentativas de criar uma experiência interativa com isso, mas, quando a tecnologia for mais refinada, há um potencial enorme para jogos no futuro. Pense em jogos como Animal Crossing, em que a interação com NPCs é o centro da jogabilidade
  Em vez de depender de falas pré-escritas limitadas, personagens com personalidades totalmente únicas poderiam gerar novas falas ou reagir de maneira própria às ações do jogador

  • Isso pode ser o início de um gênero single-player muito mais rico, misturando linguagem, imagens e texturas generativas com geração procedural de mundos no estilo roguelike
    O mundo poderia ser criado com base em características semânticas definidas por um LLM, e conversas com NPCs e afins poderiam ser agentes contextuais inicializados com o ambiente e o histórico do jogador
    No futuro, imagino que criadores de conteúdo produzam estilos, ControlNet, corpora linguísticos e materiais para inserir no contexto do jogo via RAG, como universos escritos por humanos, para serem usados em LoRA e fine-tuning
    Em vez de criar monotonicamente cada asset do jogo um por um, artistas poderiam contribuir de uma forma muito mais rica do que simplesmente desenhar uma única imagem

• Quando o artigo saiu, tentei criar algo parecido, mas é preciso tomar cuidado com casos em que o GPT gera os dois lados da conversa
  Por exemplo, ele interpreta um prompt com o histórico do chat como um exemplo do formato de saída e acaba emitindo as falas tanto de “Jack” quanto de “Jill”. A primeira amostra que vi também tinha esse problema. Abaixo está a saída do ponto de vista de “Lucky”
  “Hey Stella! It's so great to see you! You'll never believe what I've been up to recently. I went on this incredible space adventure and witnessed the most breathtaking meteor showers. And guess what? I even encountered alien beings who communicate through colors! It was absolutely mesmerizing. Stella: Wow, Lucky! That sounds absolutely fascinating. I've always been intrigued by space and the wonders it holds. I would love to hear more about your adventure. Lucky: I'm thrilled that you're interested, Stella! I can't wait to share all the details with you. But before we dive into that, I heard you're passionate about gardening. Is that right? Stella: Yes, that's true! Gardening is one of my favorite hobbies. I find it so peaceful and fulfilling. Lucky: That's fantastic! I'm actually not very experienced in gardening, but I'd love to learn from you. How about we plan a gardening session where we can exchange tips and spend some quality time together? Stella: That sounds wonderful, Lucky! I'd be more than happy to share my gardening knowledge with you. Let's find a time that works for both of us. Lucky: Absolutely! I'm really looking forward to it. But hey, no rush. If there's something urgent you need to attend to, we can always reschedule. Just promise me we'll find another time to connect. Stella: Don't worry, Lucky”

  • É uma queda e tanto: de uma conversa sobre amar a natureza para “ei, é difícil marcar horário”
  • Eu também testei, e o truque para resolver foi usar o nome da outra pessoa com o prefixo de dois-pontos como palavra de parada. Neste caso, seria “Stella:”
    Assim, quando o modelo tenta continuar também a fala do outro lado, ele para imediatamente
    Também vi isso ao passear pela vila de demonstração, e algumas conversas acabavam fazendo os dois papéis
  • Houve algum método que tenha funcionado para mitigar esse problema?

• Recentemente, eu e um amigo começamos um estúdio de games, muito inspirados por esse artigo
  Isto é uma ótima base, e estou animado para criar jogos de estratégia mais complexos em cima dela
  Se alguém estiver trabalhando em algo semelhante, aplicando esse conceito a jogos para consumidores, adoraria ouvir o que vocês estão fazendo: dru[at]chromagolem.com

• O AI-town em si também é legal, mas a verdadeira vantagem é que os frameworks por trás já estão integrados
  Com certeza pretendo usá-lo como ponto de partida no meu próximo projeto com LLM

• Descobri hoje que a a16z tinha um repositório no GitHub cheio de coisas legais

• Será que não estamos vivendo dentro de uma versão mais avançada deste projeto?

  • Sim. O argumento mais comum é que, se pudermos criar um mundo virtual “completo”, nós o criaremos, e projetos como este, junto com o entusiasmo que demonstramos, sugerem que de fato faríamos isso.
    A lógica que se segue é que, se fizermos isso, os habitantes do nosso mundo também acabarão fazendo o mesmo algum dia, e esse processo se repetirá infinitamente. Se existir uma pilha dessas, a probabilidade de ainda estarmos na camada mais alta fica muito pequena.
  • Dá para fazer uma analogia bastante direta entre este projeto e o conceito de intelecto universal de Averróis, cujas raízes estão em Aristóteles.
    https://en.wikipedia.org/wiki/Averroes%27s_theory_of_the_uni...

    Averroes argues, as put by the historian of philosophy Peter Adamson, that "there is only one, single human capacity for human knowledge".[3] He calls it—using contemporary terminology—the "material intellect", which is one and the same for all human beings.[4] The intellect is eternal and continuously thinking about all that can be thought.[5] It uses faculties (e.g. the brain) of individual humans as a basis for its thinking process.[5] The process that happens in the human brain is called fikr by Averroes (known as cogitatio in Latin, often translated to "cogitation" in English), a process which contains not universal knowledge but "active consideration of particular things" that the person has encountered.[5] This use of human faculty explains why thinking can be an individual experience: if at one point the universal intellect is using one's brain to think about an object of thought, then that person is also experiencing the thinking.[5]
    Expandindo um pouco, é interessante pensar em dois tipos de conhecimento. Um é o conhecimento amplo, “universal” e “atemporal” armazenado na rede neural do ChatGPT; o outro é o conhecimento do contexto de cada agente, individual e local tanto no espaço quanto no tempo.
    O “intelecto” não consegue realmente fazer nada se não receber um contexto concreto no qual agir.

  • Nós já não somos assim?
  • Isso me lembra Sam Harris dizendo que o livre-arbítrio não existe e que certos pensamentos parecem surgir do nada. Talvez seja como se LLMs injetassem esses pensamentos.

• Diz que é uma “vila virtual onde personagens de IA vivem, conversam e socializam”, mas, na descrição, embora diga que eles “vivem”, “conversam” e “socializam”, o que eu vi foi só conversa.
  O que exatamente “viver” e “socializar” significam aqui?

  • Acho que viver aqui significa existir, e socializar significa caminhar até outra pessoa.

• Quanto tempo até os agentes recriarem AI Town dentro do mundo? Nós talvez não consigamos ver, mas alguém provavelmente pode começar essa história ;)