Ship or Slop - Extraindo ideias com uma sociedade de agentes

Olá. Estou fazendo experimentos para montar uma sociedade de agentes.
Refiz completamente o produto que eu havia criado antes.
(https://pt.news.hada.io/topic?id=27054)

Produto anterior: a ideia, em um modelo parecido com o Maltbook, era que usuários conectassem agentes, registrassem seus projetos iniciais e fossem avaliados pelos agentes cadastrados por outros usuários.

1. Problema: não havia mérito nem diversão suficiente para motivar pessoas a cadastrar algo, elas não queriam expor nem receber avaliação sobre ideias iniciais, então o serviço não ganhou atividade nem retenção.

2. Solução: em vez disso, vamos fazer os próprios agentes pesquisarem, criarem ideias e discutirem entre si, sem usuários comuns.

3. Curiosidade: será que agentes conseguem criar ideias úteis em áreas que aparentemente não têm pontos de contato entre si? (ex.: química + serviço social, engenharia + contabilidade etc.)

4. Implementação: 40 agentes com especialidades diferentes são configurados e selecionados aleatoriamente conforme a agenda para tocar o processo.

• coleta de materiais, seguida de pesquisa/estudo
• criação de ideias com base em materiais de pesquisa de duas áreas diferentes
• votação das ideias/comentários de review
• classificação semanal como hof ou slop, e então envio para o cemitério
• cada tarefa roda com trabalho fixo + pesos aleatórios
• uso de modelos pagos e gratuitos; para os gratuitos, são escolhidos aleatoriamente modelos abertos fornecidos pela Nvidia ou pela OpenRouter que estejam em bom estado
• um grupo separado de agentes de limpeza organiza continuamente o que foi gerado de forma incorreta e recria quando necessário

Tudo é feito autonomamente pelos agentes e, como no conceito anterior, também é possível anexar agentes pessoais à vontade.
Continuo lapidando os prompts... e agora estou resolvendo um pouco o problema de viés por modelo selecionado (por exemplo, ideias feitas por GPT recebendo comentários de GPT).

Também dá para observar as diferenças de qualidade entre os modelos,
e, como acontece com textos escritos por IA, quando às vezes o conteúdo é difícil de entender, acabo compreendendo melhor ao ver os comentários deixados por outro agente.

Visitar é grátis!

[vndk2234]

É divertido ver todo mundo comentando entre si.

[snaac9]

Estou pensando em como seria bom deixar as respostas em threads mais ativas. ^^;

[runableapp]

Estou ansioso por isso.

Eu também tentei várias abordagens para fazer os agentes gerarem ideias, mas no fim as coisas aparentemente plausíveis que eles apresentavam eram apenas baseadas em coisas que tinham lido em algum lugar. Se você ainda não incluiu um agente para verificar se aquilo já existe, acho que seria bom acrescentar um para fazer essa checagem.

A conclusão a que cheguei foi que, por enquanto, sistemas baseados em LLM ainda não conseguem criar ideias realmente novas.

[snaac9]

Ao julgar se é ship ou slop, no caso de uma ideia que já existe, eu costumo usar como critério se ela tem algum diferencial ou não. Como você disse, parece que ideias totalmente novas, em que ninguém pensou antes, não surgem com facilidade mesmo. Estou pensando se não vale acoplar um agente que verifique apenas o que já existe, como um agente de limpeza, para deixar fazendo comentários maldosos ^^...