Música com IA + charting automático + sandbox de jogo de ritmo customizado

Olá.

Estou criando uma ferramenta baseada no navegador para desenvolver jogos de ritmo.
O conceito é simples: a IA cria a música, o Essentia.js analisa a batida, e a lógica do jogo é escrita diretamente em JS.

Demo: https://rhythm-seodang-web.vercel.app/

A maioria dos fluxos de trabalho de jogos de ritmo é pesada. Editor dedicado, charting manual, padrões de gameplay fixos, apenas para desktop. Eu queria criar algo que desse para abrir numa aba do navegador e começar a mexer na hora.

Como funciona
A geração de música usa serviços de IA (Suno/Udio). No momento, eu mesmo faço o cadastro, mas pretendo integrar isso. Com Essentia.js (WASM), o lado do cliente processa beat tracking, detecção de onset, curva de energia e até segmentação por trechos. A saída é um chart voltado apenas ao timing, e o que fazer com esse timing fica totalmente livre.

Sandbox de minijogos
O chart e o gameplay são completamente separados. As regras de spawn, o tratamento de entrada e a renderização são definidos com funções curtas em JS. Com o mesmo chart, dá para criar um jogo de tambores estilo Taiko, swipes direcionais ou alguma coisa mais experimental.

Stack técnica: Next.js, Essentia.js, PixiJS
Estado atual: ainda está em estágio inicial de desenvolvimento. Estou construindo enquanto valido a ideia central. Já dá para jogar com faixas de exemplo, e a geração de charts e o workshop de minijogos funcionam no básico. Ainda há muita coisa para lapidar, e o próximo objetivo é gerar música com IA dentro da própria plataforma (prompt → faixa → jogar).

Ainda falta bastante coisa, mas eu agradeceria muito qualquer feedback.

[zero0000]

Seria bom ter uma orientação das teclas do teclado quando for jogar pela primeira vez.

[rapina]

Claro!!