Show HN: Construindo uma moldura E Ink de 42 polegadas para arte generativa

 (eliot.blog)
2 pontos por GN⁺ 2023-10-11 | 1 comentários | Compartilhar no WhatsApp
  • Em vez de uma TV grande, foi criada uma moldura personalizada com um painel E Ink de 42 polegadas para exibir arte de IA generativa no escritório da Photoroom, experimentando um display não tradicional como dispositivo de exibição de obras em um espaço real
  • Foi encontrado um fornecedor que enviava para a Europa o painel ePaper monocromático de 42 polegadas da E Ink Corporation, e a compra foi feita com pedido mínimo de 3 unidades, incluindo o display e a placa controladora
  • Para evitar quebra do painel e problemas de manutenção, foi feita uma moldura personalizada sem adesivo; o problema de deslizamento da primeira versão foi resolvido na segunda com uma fixação mais firme
  • Como o display pode ser controlado por USB, foi acoplado um Raspberry Pi na parte traseira e configurado um pequeno servidor web para receber e enviar as imagens a serem exibidas
  • A limitação de 16 níveis de cinza foi amenizada com Blue Noise dithering, e o ghosting típico de E Ink foi reduzido exibindo uma imagem totalmente branca duas vezes

Construção e aquisição da moldura E Ink de 42 polegadas

  • No escritório da Photoroom, foi escolhida uma moldura E Ink como forma mais original que uma TV grande para mostrar arte de IA generativa
  • O projeto começou após conhecer os painéis E Ink de 42 polegadas vendidos pela E Ink Corporation
  • Os componentes foram adquiridos por meio de um fornecedor com envio para a Europa
    • A quantidade mínima de pedido era de 3 unidades
    • O fornecedor fornecia junto o display e a placa controladora necessária
  • Em vez da embalagem padrão, foi produzida uma moldura personalizada para obter uma aparência minimalista
    • Como era um pedido incomum, foi difícil encontrar uma empresa de molduras, mas uma aceitou participar
    • Para evitar danos ao painel e facilitar reparos e ajustes, a estrutura foi feita sem usar adesivo
    • Na primeira versão, o display deslizava entre as camadas; na segunda, ele foi fixado com mais firmeza

Configuração de controle e tratamento da qualidade da imagem

  • O controlador do display pode se comunicar por USB, então foi adicionado um Raspberry Pi na parte traseira da moldura
    • O Raspberry Pi fornece um pequeno servidor web capaz de receber imagens
    • Ainda resta um problema: o cabo flat não encaixa, então parece que foi escolhida a variação errada da placa controladora
  • O painel só consegue exibir 16 níveis de cinza, então, sem pré-processamento, gradientes na imagem ficam com aparência de blocos
  • Para reduzir esse problema de gradação, foi usado Blue Noise dithering
    • O método consiste em adicionar um padrão de blue noise à imagem e depois aplicar um limiar
  • Como no Kindle, o E Ink tem ghosting, então a imagem anterior pode aparecer levemente misturada com a nova
    • É possível usar o método de exibir uma imagem totalmente preta e uma totalmente branca
    • Na prática, mostrar uma imagem totalmente branca 2 vezes já produz efeito suficiente sem atrapalhar muito a experiência
    • O vídeo do resultado pode ser visto em HD video

Ideias de melhoria que ainda restam após a instalação

  • A primeira versão foi instalada no escritório
    • No momento, ela precisa de cabo de energia; se passar a funcionar com bateria, poderá ser pendurada na parede sem cabos
    • Ainda existe a ideia de fazer o ChatGPT gerar prompts e usá-lo como uma espécie de curador de arte

Leituras relacionadas

1 comentários

 
GN⁺ 2023-10-11
Opiniões do Hacker News

  • Se o display e-ink de 42 polegadas não custasse US$ 2.500, acho que haveria muito mais usos legais para ele: https://shopkits.eink.com/en/product/detail/42''MonochromeeP... o pedido mínimo é de 3 unidades
    Para comparar, uma TV de 42 polegadas, colorida, 60 fps, com controle remoto, alto-falantes, Wi-Fi etc. custa US$ 140
    Parece que, se o detentor da patente baixasse o preço, poderia ganhar muito mais dinheiro

    • Comparar com uma TV colorida de 42 polegadas a 60 fps não faz sentido. Painéis LCD grandes são muito mais fáceis e baratos de produzir em massa do que filmes e-ink
      A afirmação de que o detentor da patente ganharia mais se baixasse o preço também, se fosse realmente verdadeira, já teria sido colocada em prática. Quase nenhuma empresa ou acionista recusaria a chance de ganhar mais dinheiro
      É preciso parar com esse medo, incerteza e dúvida (FUD) que atribui o alto preço de displays e-ink grandes a uma conspiração de patentes. Eles são caros porque o rendimento de fabricação é muito baixo e o volume de vendas também é pequeno
      Digo isso com base na experiência de ter trabalhado com e-ink tanto em produtos com displays grandes quanto pequenos
    • Já li que ainda há grandes problemas de rendimento no processo de fabricação. Em displays pequenos, dá para cortar evitando pixels defeituosos e desperdiçar menos, mas, em displays grandes, a folha enorme inteira precisa estar perfeita
      Mas, se isso for tudo, também deveria haver demanda por e-ink de 42 polegadas com grandes descontos em troca de aceitar alguns pixels defeituosos. Especialmente para usos vistos de longe, talvez isso não seja um grande problema
    • Não é US$ 2.500, está mais perto de US$ 3.000 :)
      O pacote do módulo de display não inclui a placa controladora, e o kit E Ink Salt foi projetado para dar suporte a esse módulo
      A Salt Driving Board custa US$ 500: https://shopkits.eink.com/en/product/detail/SaltDrivingBoard
    • Se fosse uma TV 4K, teria mais pixels, uma taxa de atualização melhor e cores. Em troca, pagando US$ 2.360 a mais, você ganha a função de manter a imagem mesmo com a energia desligada
      Essa função parece ser bem cara, mesmo descontando a parte que fica com o detentor da patente
    • Fico curioso para saber qual seria o preço no atacado. TVs com Wi-Fi são parcialmente subsidiadas pelos anúncios exibidos quando você as liga
      Esse display de US$ 2.500 parece voltado para sinalização produzida em baixo volume e talvez o preço esteja um pouco inflado porque sabem que será vendido para governos ou empresas
      Espero que empresas como Rakuten, Amazon e Pocketbook não comprem painéis para leitores de e-books por um preço por área parecido

  • Projeto incrível. Recomendo fortemente trocar por vidro antirreflexo. Há algumas opções relativamente baratas com refletância abaixo de 1% [1][2]
    Em molduras com muita luz ambiente, a diferença em relação ao acrílico básico foi enorme
    [1] https://www.groglass.com/product/artglass-ar-70/
    [2] https://www.framedestination.com/prod/sh/ultravue-uv70-pictu...

    • Concordo com esta recomendação. Fabricantes de molduras às vezes chamam esse tipo de produto de museum glass; ele combina propriedades antirreflexo com filtro UV, e normalmente há faixas de preço para filtros de 70% e 92%
      Alguns painéis e-ink são um pouco sensíveis à luz ultravioleta e funcionam melhor sob um filtro. Às vezes, nas folhas de dados, aparecem alertas sobre desempenho de atualização sob luz solar direta ou risco de dano permanente no longo prazo. Pelo que sei, alguns produtos de sinalização da E Ink têm uma camada de filtro integrada
      Se você usa passe-partout, como neste projeto, e não tem certeza de como o papel vai resistir quando a moldura receber luz solar, vale a pena gastar com proteção UV para evitar que ele amarele com o tempo

  • Uso um display parecido e também uso dithering por ruído azul. Como o meu é movido por um navegador web no backend, consegui abusar de CSS e mix-blend-mode para fazer o dithering
    ha-card::after { content: ""; background-image: url(/local/visionect-dither.png); background-repeat: repeat; position: absolute; height: 100%; width: 100%; display: block; mix-blend-mode: multiply; }
    A textura de dithering que usei é 128_128/LDR_LLL1_10.png de https://github.com/Calinou/free-blue-noise-textures

    • Olhando a imagem de exemplo de dithering do texto, em partes como a água à esquerda, o prédio no canto inferior esquerdo e o fundo à direita, ele reduz a qualidade da imagem desnecessariamente
    • Fico curioso para saber o que são texturas 3D e 4D

  • Achei que já conhecia todas as opções de dithering mencionadas em https://tannerhelland.com/2012/12/28/dithering-eleven-algori..., mas fiquei surpreso ao ver que existe outro método usado neste projeto (https://ieeexplore.ieee.org/document/3288)

    • O dithering de ruído azul parece ser uma forma de dithering ordenado e é melhor do que outros tipos de dithering ordenado, mas em termos de qualidade não é tão bom quanto o dithering por difusão de erro. Basta ver a comparação da estátua de Davi na Wikipedia
      Por outro lado, ao contrário da difusão de erro, o dithering de ruído azul tem a vantagem de poder ser implementado com pixel shader. Por isso pode ser usado em coisas como videogames
      Para este quadro, acho que dithering por difusão de erro teria sido um pouco melhor
    • Este excelente texto sobre dithering também explica ruído azul de forma simples
      https://surma.dev/things/ditherpunk/

  • A Samsung vende a TV LED The Frame, feita para esse uso. No momento, só existe em 4K
    https://www.samsung.com/us/tvs/the-frame/highlights/

    • Tenho uma dessas, e ela só parece convincentemente algo que não é uma TV em condições muito específicas. As questões de privacidade e de apps proprietários são outro problema
      Especialmente à noite, por causa da luz de fundo fica óbvio demais que é simplesmente uma TV, então sinto que algo como e-ink, que se integra melhor ao ambiente, seria muito superior
    • Um amigo tem uma Samsung Frame, e parece que ela só se integra pelo app SmartThings da Samsung. É bem fechado
      A TV precisa estar online, e depois é preciso enviar a imagem para esse app
    • Passei uns 5 minutos olhando esse link e achei interessante. Entendo que tentam imitar papel, mas não sei como fazem isso
      O link “explore technology” também quase não traz informações adicionais. Nem sei se há luz de fundo

  • É um projeto muito limpo. Mas me incomoda o fato de que, basicamente, é um dispositivo passivo de desperdício de energia
    Já existem tantas obras de arte em praticamente qualquer área que seria difícil ver todas ao longo de uma vida, mas ainda assim se queima energia de GPU para criar imagens
    Alguns projetos que usam IA poderiam ser muito mais eficientes se fossem substituídos por outras tecnologias

    • O custo e o impacto ambiental das imagens geradas são um erro de arredondamento em comparação com o custo do projeto de mais de US$ 7.500
      Separadamente, fico curioso para saber o quanto um modelo de difusão ficaria menor e mais rápido se fosse treinado ou quantizado para imagens em escala de cinza de 4 bits
    • Processando prompts em lote com Stable Diffusion em um computador doméstico, dá para criar e até fazer upscale de cerca de 1 imagem a cada 5 segundos, algo como 360 imagens em 30 minutos
      Isso permitiria exibir uma nova imagem por dia durante um ano inteiro com 30 minutos de computação
      Somando 300 W da GPU e 120 W do PC, dá 420 W × 0,5 hora = 0,210 kWh, o que na minha conta de luz mensal é erro de arredondamento. Algo em torno de 6 centavos
      A energia que gastei sentado lendo Hacker News esta semana provavelmente foi maior do que isso
    • Não vejo qual é a diferença em relação a jogar no GPU. As duas coisas são algo que as pessoas apreciam
      Então deveríamos brincar só com gravetos no quintal?
    • Não é preciso muita GPU para criar uma imagem, e, se quiser reduzir o impacto, basta deixar a mesma imagem mais tempo na parede
      Também dá para não gerar imagens à noite ou quando não houver ninguém em casa
      Há muitas formas de economizar energia, e o impacto de criar uma imagem a cada poucas horas é minúsculo em comparação com transporte ou demanda de aquecimento
      Além disso, se o apartamento usa aquecimento elétrico resistivo, tudo bem rodar a GPU. Em vez de passar eletricidade por uma resistência para gerar calor, você cria imagens enquanto gera calor, e isso não é menos eficiente
    • Seria bom renderizar essas imagens quando houver excedente de energia renovável e armazená-las para depois

  • Gostei. Tenho 2 ideias
    Seria legal colocar uma cena bem complexa no estilo Onde Está Wally e fazer o Wally aparecer em uma posição diferente a cada hora
    Também seria bom ter um retrato com muitos detalhes que mudasse muito lentamente ao longo do tempo. Por exemplo, sem brinco, depois um brinco pequeno, depois um brinco grande
    Acho que seria divertido mudar discretamente vários pequenos detalhes em uma velocidade difícil de perceber

  • Lembro de ter visto uma modificação em que colocavam uma tela e-ink em um ThinkPad X230. A dificuldade era encontrar uma tela e-ink específica, fora de linha, do tamanho certo
    O fabricante mencionado no texto tem uma tela de 13,3 polegadas que seria interessante testar em uma modificação:
    https://shopkits.eink.com/en/product/detail/13.3''ePaperDisp...
    1600 × 1200 pixels também é impressionante

  • Projeto realmente incrível
    Se você tem interesse em ver várias técnicas de dithering, esta pergunta antiga do CodeGolf compara alguns métodos interessantes. A propósito, a resposta em Fortran é minha
    https://codegolf.stackexchange.com/questions/26554/dither-a-...

  • Seria legal exibir um tabuleiro de xadrez em dois displays e-ink pendurados na parede, para que meu filho de 14 anos pudesse jogar xadrez com o avô
    Seria bom se acompanhasse de quem é a vez e permitisse fazer jogadas por comandos de voz
    Assim, eles poderiam jogar ao longo de um período mais longo, por exemplo, uma jogada por dia