Destaque no HN: Diffusion Mirror de parede que transforma reflexos em imagens

• PabloNet

• Acho que o debate sobre se uma IA conectada à internet pode ser criativa está longe da questão essencial. Arte é revelar o mundo interior, e tecnologia é apenas uma parte disso. É lamentável que a arte exija tecnologia demais. Vejo a possibilidade de separar esses dois elementos. Uma criatividade interpolativa barata, usada por 8 bilhões de não artistas, pode revelar uma nova visão de mundo.

• Por esse motivo, eu, que não tenho talento para arte, sinto grande interesse por várias formas de arte baseadas em IA. Há alguns meses, comecei a trabalhar com StreamDiffusion para difundir em tempo real o feed de uma webcam. Quero gerar belos efeitos visuais e despertar novas emoções. No entanto, o formato de notebook quebra a ilusão. Então, recentemente, construí uma moldura LCD que pode ser pendurada na parede, para reduzir ao mínimo os elementos que destroem essa ilusão. A maior vantagem dessa configuração é que, em vez de ser apenas uma tela, ela abre um novo canal de interação como um objeto permanente.

• O principal problema da configuração atual é a baixa taxa de quadros. Usei TensorRT e aumentei a velocidade com compressão de imagem, mas ainda há bastante espaço para melhorar.

• Para quem tiver interesse, compartilho como fazer e contribuir:

  • Código do cliente e do servidor disponível
  • Hospedagem do servidor usando RunPod
  • Cliente executado em Raspberry Pi 5
  • Uso de uma tela Pi de 10,1 polegadas
  • Uso de iluminação infravermelha
  • Uso de uma moldura comum
  • Uso de uma câmera Pi infravermelha
  • Uso de um furador para fazer o buraco da câmera (a furadeira não funciona)
  • Experimentos com vários filtros de pré-processamento; só um prompt simples não basta. O img2img parece realista demais sem pré-processamento. Para obter o estilo azul tipo Picasso mostrado neste post, foi usada uma combinação de detecção de bordas Canny, tingimento azul e desfoque.

Resumo do GN⁺

• A arte baseada em IA mostra a possibilidade de separar tecnologia e criatividade, oferecendo uma nova perspectiva.
• A difusão em tempo real de um feed de webcam com StreamDiffusion oferece novas emoções e experiências visuais.
• A instalação com uma moldura LCD abre possibilidades de ir além de uma simples tela e se tornar uma obra de arte permanente.
• Problemas técnicos, como a baixa taxa de quadros, ainda têm bastante espaço para melhoria.
• Projetos com funcionalidades semelhantes recomendados incluem DeepArt.io e RunwayML.

[GN⁺]

Comentários do Hacker News

• Codificar bytes JPEG em Base64 aumenta o tamanho do payload em cerca de 30% e consome ciclos de CPU no cliente e no servidor. O protocolo WebSocket pode transmitir payloads binários, então não há necessidade de convertê-los para texto

  • Pode valer a pena considerar remover a compressão JPG com perdas e transmitir bytes RGB brutos pela rede
  • O StreamDiffusion consegue atingir altas taxas de quadros por meio de batching extensivo no pipeline. Aqui isso não está sendo aproveitado porque o cliente envia apenas um quadro por vez e espera a resposta
  • Os modelos SDXL Turbo e Lightning são muito rápidos em img2img, mas ficam limitados a resoluções de 512² ou 1024² pixels. Dá para executá-los em tempo real em GPUs avançadas de consumo

• Arte é revelar o mundo interior, e técnica é apenas uma parte disso. Há questionamentos sobre a ideia de que a lacuna técnica seja apenas um inconveniente

  • Aprender a desenhar ou fazer música pode transformar a pessoa e ensinar lições de vida mais profundas
  • Grandes obras de arte não são criadas por gênios; a genialidade chega de forma inesperada. Eliminar a lacuna técnica é eliminar essas oportunidades

• Sem entrar no valor artístico, há uma parte interessante nisso para quem gosta de colecionar ferramentas

  • Foi usado um furador para fazer um buraco no papelão da moldura para a câmera. A furadeira não funcionou
  • Há curiosidade sobre mais detalhes ou uma interpretação de por que a furadeira não funcionou no papelão

• Seria mais legal se a câmera estivesse em outro lugar, e não na moldura. Olhar para um espelho artístico é um pouco entediante

  • Dá para fazer um segundo espelho na casa de outra pessoa e alimentar um espelho com a câmera do outro, para que ambos vejam o 'reflexo' um do outro

• Sempre houve a ideia de que arte é preservar e criar emoções. Até uma banana na parede é arte, e música popular continua sendo arte

  • Esta invenção certamente é uma obra de arte, mas sua saída não é. Ela pode gerar várias formas, como nuvens, mas ainda é apenas aleatoriedade mediana

• Pergunta se já foi considerado um efeito de transformação em alta taxa de quadros entre imagens. Isso aumentaria a taxa de quadros efetiva e ficaria legal

• O principal problema da configuração atual é a baixa taxa de quadros. Isso é visto como um recurso; não é ruim ter tempo para processar a imagem

  • A ideia seria aumentar o intervalo de atualização para 5–15 minutos e capturar/gerar uma nova imagem sempre que mudança ou movimento fossem detectados

• Concede o prêmio de espelho que mais consome energia. Foi observado que a pintura não se mantém estável diante de pequenas mudanças na entrada

• Pergunta se existe alguma forma de fixar algumas imagens. Algumas valeriam a pena manter (por exemplo, foto de perfil ou imagem de tela de bloqueio)