Show HN: Fill 3D - preenchimento generativo 3D para virtual staging com IA

• É um projeto inicial que demonstra a API Fill 3D e serve como exemplo de implementação de preenchimento generativo 3D para virtual staging com IA
• Antes de executar, renomeie .env.example para .env.local e insira em FILL3D_API_KEY a API key gerada em fill3d.ai
• A instalação das dependências e a execução do servidor de desenvolvimento são feitas com npm install e npm run dev
• Após iniciar o servidor de desenvolvimento, a página web pode ser aberta em http://localhost:3000

[GN⁺]

Opiniões no Hacker News

• A tecnologia em si é impressionante, mas seu potencial é bem assustador.
  Onde moro, já é comum que “corretores” imobiliários retoquem fotos de imóveis no Photoshop para fazê-los parecer casas totalmente reformadas e até mobiliadas.
  Na realidade, muitas vezes a casa está vazia e em péssimo estado, então com uma tecnologia dessas deve ficar ainda mais difícil avaliar o estado de um imóvel sem vê-lo pessoalmente.
  Agora parece difícil impedir que essa tecnologia seja usada em anúncios, e como as listagens de imóveis viraram praticamente anúncios, políticas e leis que impeçam o envio de fotos falsas a plataformas imobiliárias parecem ser a única solução.
  Dito isso, acho que o criador pode ganhar muito dinheiro vendendo essa tecnologia para corretores em um modelo de assinatura.

  • Parece que já existem leis contra representar falsamente itens à venda.
    Se a mobília está incluída ou não é algo especificado claramente no contrato e, embora varie conforme a região, o que mais vejo por aqui é no máximo compor um pôr do sol nas fotos das janelas ou dos fundos da casa.
    Mas pode ser difícil perceber se um corretor removeu coisas como mofo ou danos por vazamento.
  • Staging com Photoshop já existe há muito tempo.

• Os exemplos parecem muito bons. Seria ótimo se pudessem compartilhar mais imagens.
  Seria bom ver mais exemplos mostrando até onde essa ferramenta consegue ir, como diferentes tipos de cômodo e estilos de decoração.
  Por outro lado, também fico curioso para saber o que ela não consegue fazer. Gostaria de saber se há situações em que ela quebra.

  • Boa sugestão. Vou tentar tirar um tempo amanhã para adicionar uma página /gallery.
    Também criei uma issue para acompanhamento: https://github.com/fill3d/fill/issues/1
    É uma boa primeira issue :D

• Incrível. Os objetos inseridos não são gerados por um modelo de difusão + ControlNet, mas renderizações de modelos 3D texturizados?
  Também fico curioso se o conjunto de modelos 3D texturizados disponíveis é fixo ou se eles são gerados na hora com base no prompt.

  • Isso mesmo. No momento usamos a caixa de diálogo do Blenderkit, mas dá para expandir além disso.
    Ao digitar um prompt e pesquisar, uma busca multimodal é de fato executada; por exemplo, se você pedir “red painting”, ela encontra uma pintura vermelha de verdade.
    Por isso é absurdamente mais precisa do que uma busca comum. A IA está entrando em tudo.

• No meu caso de uso, seria decorar um apartamento.
  Tenho um studio grande e vazio onde já comprei a cama e o sofá, e preciso decidir como preencher o restante do espaço vazio.
  Coisas como mesa de centro, rack/media console, TV ou projetor de ultracurta distância, bar, estante e escrivaninha.
  Seria ótimo se desse para preencher com produtos realmente disponíveis para compra, não só conceitos puros.

  • Sim, isso está de fato no roadmap.
    Como geramos em 3D, o usuário pode trazer seus próprios modelos 3D e adicioná-los ao catálogo.
    Se integrarmos algo como o Object Capture da Apple (https://developer.apple.com/augmented-reality/object-capture...), seria possível escanear o sofá, fazer upload para o Fill 3D, posicioná-lo e então gerar.
    Estou animado com o que vem por aí.
  • Ainda não usei, mas alguns dias atrás vi um site voltado para esse caso de uso: https://aihomedesign.com
    Não tenho relação com eles.

• Será que empresas imobiliárias já consideraram deixar as casas vazias, sem mobília, e fazer potenciais compradores usarem óculos de AR para ver como ficariam com seus próprios móveis?

  • Acho que daria para usar simplesmente um celular ou tablet como viewport.
    Seria menos imersivo, mas a barreira de adoção seria muito menor.
  • Se leva mais de 1 minuto para renderizar um único frame com path tracing, esse nível de realismo parece inviável em AR hoje.

• Será que funciona em decks e varandas de entrada?
  Tenho fotos de decks e varandas que precisam de staging para um site de uma construtora.

• Testei a demo e ela parece ter bugs, e aparentemente só dá para escolher itens existentes em um banco de dados predefinido.

  • Fiquei curioso para saber que bug você encontrou.
    E sim. Como usamos modelos 3D reais, o conjunto de modelos é fixo. No momento são pouco menos de 300.
    A prioridade são resultados fotorrealistas, e a tecnologia mais recente de difusão para modelos 3D ainda não é suficiente. Veja o Point-e da OpenAI: https://github.com/openai/point-e

• Ver a arquitetura do Fill3D para “renderizar resultados fotorrealistas com path tracing” junto com o recurso de deploy transparente da fxn.ai é realmente impressionante.
  Posso usar ambos no meu projeto atual, então vou dar uma olhada.

• Como vocês estão pensando no modelo de negócios?
  Sou administrador de sistemas de um MLS pequeno e estou pensando onde poderíamos integrar isso.
  Com US$ 2 por staging, provavelmente teríamos que cobrar diretamente do Realtor. Até onde sei, não fazemos cobrança repassada.
  Talvez, porém, um modelo que inclua alguns stagings por mês por Realtor possa funcionar.
  Também consigo imaginar um caso de uso divertido em que o consumidor faz o staging por conta própria, mas acho que poucos Realtors pagariam US$ 2 por staging para o consumidor fazer isso.

  • Eu gostaria muito de conversar melhor sobre isso.
    Com preço em volume, conseguimos reduzir bastante o valor.
    O objetivo final é permitir que o usuário faça o staging diretamente no site imobiliário ou no MLS de vocês.
    Entre em contato em [e-mail]

• Com o que foi feito o screencast em https://www.fill3d.ai/?

  • Parece ser https://www.screen.studio
  • Também fiquei curioso.
    Tenho visto muitos screencasts nesse mesmo estilo ultimamente, e não gosto muito.
    A área gravada fica se movendo o tempo todo, o que distrai bastante.
  • É o Screen Studio