Explorando uma casa em tamanho real antes da conclusão com o Vision Pro

• Ao transformar a planta de uma casa, antes da construção, em um espaço 3D imersivo em tamanho real, é possível revisar o projeto sentindo diretamente o tamanho dos cômodos e corredores, a circulação e a vista a partir da entrada
• O fluxo de trabalho consiste em criar piso, paredes e teto no Fusion 360, aplicar materiais e posicionar móveis, depois exportar em USDZ e explorar no Vision Pro
• É possível obter modelos de camas, mesas, eletrodomésticos e carros no IKEA e no 3D Warehouse, mas, para importá-los no Fusion 360, é preciso converter glb ou USDZ para OBJ
• O Prospector, criado com Claude e Codex, oferece movimentação por controle, acompanhamento de terreno, voo, alternância para ver o mundo real, deslocamento 6x mais rápido e skybox, permitindo uma exploração mais livre do que o visualizador USDZ básico
• Alterações no projeto são refletidas ao modificar o modelo no Fusion 360 e exportá-lo novamente, e isso pode ser usado para entender o espaço antes da conclusão e receber opiniões do cônjuge ou de amigos

---

A sensação de espaço difícil de entender só pela planta

• No processo de construir a primeira casa após viver em apartamento, foi preciso tomar inúmeras decisões difíceis de reverter depois, como a posição das paredes
• Em um cenário de casas caras, era necessário usar toda a área com eficiência, mas era difícil compreender a sensação real de espaço apenas com retângulos pretos em uma planta em PDF e medidas como 13×15 pés
  • Se o corredor pareceria estreito
  • O que seria visto ao entrar na casa pela primeira vez
  • Como o tamanho de cada cômodo seria percebido na prática
• O Vision Pro, com tela de alta resolução e vários sensores, foi escolhido como dispositivo para entrar diretamente em uma casa virtual

Criando o modelo da casa no Fusion 360

• No Fusion 360, disponível gratuitamente para usuários amadores, a planta foi desenhada em 2D, as paredes foram extrudadas e piso, teto e aberturas de portas foram adicionados
• Como é possível começar sem modelagem complexa, ele é adequado como projeto para aprender pela primeira vez uma ferramenta de design 3D
  • YouTube e perguntas a IA podem ser usados como materiais de aprendizado
  • Se for difícil fazer por conta própria, é possível encontrar no Fiverr alguém que converta a planta em um arquivo 3D
• Um espaço com apenas paredes e teto vazios parece um depósito, facilitando uma avaliação equivocada da escala; por isso, é preciso adicionar móveis e materiais para criar referências visuais

Adicionando profundidade ao espaço com materiais

• No Fusion 360, é possível abrir o painel Appearance com a tecla A e arrastar e soltar materiais como madeira, pedra e tinta nos objetos
• Isso reduz a aparência de superfícies todas com o mesmo material monótono e adiciona profundidade ao espaço; também é possível aplicar material de vidro às janelas

Usando modelos de móveis da IKEA

• Ao posicionar sofá, cama, mesa e tapete, é possível avaliar de forma mais realista o tamanho dos cômodos e as possibilidades de disposição dos móveis
• A IKEA possui modelos 3D de muitos produtos, mas foi difícil encontrar um recurso para baixá-los diretamente
  • É possível baixar modelos com o script IKEA 3D Model Download Button para Tampermonkey
  • Ele não oferece suporte a todos os produtos, mas muitos itens têm modelos 3D
• Como o arquivo baixado vem no formato glb, foi usado o conversor GLB-to-OBJ para importá-lo no Fusion 360
• Os materiais na mesma pasta do OBJ convertido podem não aparecer dentro do Fusion 360, mas, ao exportar novamente pelo Fusion, eles aparecem corretamente

Trazendo eletrodomésticos e carros do 3D Warehouse

• O 3D Warehouse é uma comunidade onde usuários publicam modelos 3D gratuitos, e permite encontrar objetos difíceis de obter na IKEA, como batedeiras, panelas elétricas de arroz e carros
• É fácil importar modelos para o SketchUp, mas é difícil usá-los diretamente no Fusion 360, então a pré-visualização 3D do iOS foi usada como rota alternativa
  • Abrir a URL do modelo no iOS e visualizá-lo em 3D no ambiente atual
  • Tocar no botão de compartilhamento para extrair o arquivo USDZ usado na pré-visualização
  • Enviar para o Mac via AirDrop
• Como o Fusion 360 também não importa objetos USDZ de forma fluida, eles foram posicionados após passar pelo conversor USD-to-OBJ

Limitações do visualizador USDZ básico

• O modelo concluído pode ser salvo com o recurso de exportação USDZ do Fusion 360 e enviado ao Vision Pro via AirDrop
• Também é possível abrir o modelo no app Files e caminhar por ele, mas, ao se mover por toda a casa virtual dentro do tamanho real dos cômodos, há risco de bater em móveis ou paredes do mundo real
• Para explorar um espaço virtual amplo com segurança e liberdade, era necessário um meio de locomoção que substituísse a caminhada física

Criação do Prospector e recursos de exploração

• Usando Claude e Codex juntos, foi criado em meio dia o visualizador USDZ para Vision Pro Prospector
• Em vez de passar semanas refinando a qualidade final, foi um exemplo de vibe coding em que os recursos necessários para um experimento pessoal foram implementados rapidamente
• Foram adicionados recursos de exploração que não existem na visualização USDZ do app Files padrão
  • Movimentação por controle: permite se mover e girar a câmera como em um jogo 3D, usando também a caminhada real e movimentos da cabeça
  • Skybox: mostra um fundo simples de floresta em vez do espaço real do lado de fora das janelas
  • Acompanhamento de terreno: ao pressionar o D-pad direito, o movimento acompanha as variações de altura do terreno criado a partir de dados de levantamento
  • Alternância para ver o mundo real: ao encostar brevemente o polegar no dedo médio, é possível ligar ou desligar o mundo virtual e verificar obstáculos como mesas reais
  • Voo: permite mover para cima e para baixo com o gatilho para transitar entre andares; ao pressionar a parte superior do D-pad, retorna-se à altura do solo
  • Movimento em alta velocidade: ao pressionar o D-pad esquerdo, o deslocamento fica 6 vezes mais rápido, permitindo atravessar terrenos amplos
• É possível passar o headset para o cônjuge ou amigos e revisar o projeto em conjunto; as alterações são refletidas ao modificá-las no Fusion 360, reexportar e executar novamente

Executando diretamente pelo GitHub

• O código-fonte do Prospector foi publicado no GitHub, mas ainda exige trabalho adicional para ficar refinado o suficiente para envio à App Store
• O procedimento de execução é o seguinte
  • Importar o arquivo USDZ para o projeto no Xcode
  • Em ImmersiveView.swift, trocar o nome do arquivo USDZ pelo nome do seu arquivo
  • Se necessário, substituir a skybox por um fundo do Poly Haven
  • Parear o controle com o Vision Pro e executar o projeto no dispositivo físico
• O código foi, na prática, escrito por IA, e a implementação atual está bruta, para experimento pessoal

Revisão imersiva do projeto de uma casa

• O arquiteto mostrou a futura casa em formato de walkthrough 3D no Revit, permitindo clicar em pontos para se mover e arrastar para olhar ao redor, como no Google Street View
• No Vision Pro, foi possível olhar ao redor como se estivesse dentro do espaço e sentir as dimensões; por isso, antes mesmo de ver o walkthrough no Revit depois, a estrutura da casa já parecia familiar
• A forma de visitar um projeto potencial em 3D imersivo pode se tornar uma etapa central do processo de projeto residencial no futuro e, com o hardware necessário, já pode ser implementada hoje

[GN⁺]

Comentários do Hacker News

• Seria bom calcular a altura solar e o azimute por estação e horário para simular a luz entrando na casa. Dá para verificar se um cômodo específico superaquece com sol direto no verão, aproveitar ao máximo a luz de inverno e até aumentar as chances de encontrar o nascer e o pôr do sol por acaso

  • Na prática, apliquei isso para ver o pôr do sol, e existem vários sites excelentes que mostram a direção do nascer e do pôr do sol em datas específicas do ano

• Tenho uma empresa de projeto e construção nos Hamptons, nos EUA, e uso essa tecnologia todos os dias. Começamos todos os projetos com uma abordagem 3D-first, criando estudos preliminares no Rhino3D ou Revit, renderizando com Enscape e enviando para o Quest 3
  Ao ajustar o ponto de vista para a altura real do cliente e deixá-lo caminhar pela casa nova, ele entende intuitivamente a escala e as proporções dos ambientes, a altura do teto e até pequenos detalhes, e dentro de limites razoáveis podemos alterar o modelo em tempo real para obter feedback imediato. Uso isso há anos e me surpreende que a adoção ainda seja lenta, mas por enquanto isso acaba sendo uma vantagem competitiva

  • Por volta de 2021, numa reforma residencial, usei a combinação SketchUp·Enscape·Quest 2, e depois que a obra terminou isso reduziu bastante o número de vezes que minha esposa quis mover paredes de novo
  • Ao ver essa história, quase larguei meu emprego e voltei para a arquitetura, que era minha paixão original. Hoje estou planejando projetar uma casa no Blender, importar para a Unreal Engine e caminhar por ela; se o conhecimento full-stack para implementar isso ainda for raro, parece uma carreira tão divertida quanto eu imaginava
  • Fico curioso se o valor de VR/AR está principalmente em transmitir a intenção de projeto para clientes que não estão acostumados com desenhos 2D tradicionais, ou se os projetistas também usam isso diretamente durante o desenvolvimento
  • Também fico curioso se vocês realmente conseguem um prédio ou espaço vazio do tamanho de uma casa personalizada comum. Normalmente seria algo bem grande; queria saber também se vocês dividem a pré-visualização por zonas
  • Tenho dúvidas se a Apple vai continuar investindo dezenas de bilhões de dólares num dispositivo corporativo de nicho que vende na casa de alguns milhares por mês. Tirando o SoC, o Vision Pro é hardware dedicado e não compartilha custos de P&D e produção com outras linhas de produto como o Mac Pro
    Nos últimos 2,5 anos ficou claro que não existe mercado de massa, e até a Meta, depois de gastar mais de 100 bilhões de dólares no Quest e vender cerca de 30 milhões de unidades, parece estar migrando para dispositivos em formato de óculos. Tirando alguns poucos casos corporativos, a categoria inteira parece um fracasso

• Quando projetei minha casa quase 10 anos atrás, usei um HTC Vive e https://irisvr.com/prospect/. Com o headset, era muito útil porque em 1 segundo dava para saber se as proporções espaciais estavam corretas ou precisavam de ajuste fino, e algumas casas concluídas de fato tinham exatamente a mesma sensação da simulação com a qual eu já estava familiarizado

  • Curiosamente, o autor também deu à sua ferramenta o nome Prospector. Suspeito que isso possa ter vindo de um LLM sugerindo um nome parecido com o produto existente Prospect, mas talvez eu esteja especulando demais

• O Vision Pro já é o melhor hardware, mas precisa de um sistema operacional prático que vá além de um quiosque de mídia. Em vez de exibir apenas uma tela do Mac, ele deveria permitir posicionar naturalmente no espaço todas as janelas do Mac e janelas de conteúdo 3D
  Se melhorarem o uso do espaço visual e a ergonomia física, e removerem as barreiras para expandir recursos 3D práticos, podem criar uma experiência tipo NeXT que evolui sobre o macOS/Mac, e não apenas mais um iOS de caixa registradora

• Christian é um desenvolvedor brilhante que criou o Apollo, a melhor experiência de uso do Reddit de todos os tempos. Depois que o Apollo foi bloqueado e desapareceu, passei a quase não usar Reddit, exceto por visitas ocasionais via busca da Kagi, e o app era tão bom que fazia até usuários hardcore de Android comprarem um iPhone só por causa dele

  • Quando eu disse que largaria o Reddit depois do fim do Apollo, fiquei em dúvida se conseguiria mesmo, mas não pareceu sacrifício nenhum. O app oficial é ruim a ponto de tirar a graça de navegar, e a web móvel também força a instalação do app, então agora quase nem abro posts que aparecem em resultados de busca
  • Tentei fazer sideload do Apollo com AltStore, mas os crashes e falhas ao abrir continuaram, então foi difícil mantê-lo funcionando de forma estável
  • Ainda bem que o Voyager para Lemmy virou o sucessor espiritual do Apollo. A nova interface do Reddit é horrível, e é difícil acreditar que eles não tenham adquirido o Apollo, mas no fim isso me ajudou a largar o Reddit
  • O Apollo Reborn, usando sua própria chave de API, ainda pode ser usado. No Android, uso um app modificado do Reddit; no Firefox, uso o old.reddit; o Reddit vale demais para ser abandonado por completo
    Quando procuro recomendações específicas, às vezes peço a um LLM para consultar o Reddit
  • Depois do fim do Apollo, meu uso do Reddit caiu para menos de um décimo, e olhando para trás talvez isso até tenha sido melhor assim

• Depois que a casa fica pronta, pode ser ainda mais útil para rastrear o trajeto de fios e encanamentos dentro das paredes. O modelo do Revit pode conter informações reais ou pelo menos o planejamento, o que ajuda especialmente em casas antigas onde é preciso improvisar a instalação de cabos Ethernet
  Dito isso, na prática eu o uso principalmente para assistir mídia em 4K HDR. Ele não correspondeu à expectativa de ser um dispositivo prático multifuncional, mas a reprodução de mídia é tão boa que isso acaba sendo aceitável

• A maioria dos recursos mostrados aqui parece que também poderia ser implementada com ARKit no iPhone. O headset é melhor, mas é difícil dizer que ele é 3.500 dólares melhor do que ver pela tela do celular
  Na mudança, escaneei o apartamento com o iPhone para criar um modelo 3D e usei isso para tirar medidas e planejar a disposição dos móveis; antes de sair, também escaneei a casa antiga para poder entrar nela virtualmente quando quisesse. Até mesmo o Finder e o Preview já oferecem suporte básico para exibir modelos 3D em AR

  • Tenho curiosidade sobre todo o fluxo de trabalho, o app de escaneamento usado, o formato do modelo 3D gerado e a ferramenta de planejamento espacial. Consegui fazer um modelo bem decente com o 3d scanner app, mas como era baseado em LiDAR, faltava precisão, e foi difícil alinhar o modelo com a planta real quando os erros foram se acumulando
    Na disposição dos móveis, até 1 polegada importa, então é complicado quando uma parede de 100 polegadas vira 99 ou 101 polegadas. Queria saber como criar um modelo com medidas o mais exatas possível e posicionar modelos 3D de móveis nele
  • Usei vários apps de AR parecidos com o que a IKEA oferecia para verificar se os produtos cabiam no espaço real, e também participei de um projeto de VR para interior de carros. Em AR no celular, é preciso adivinhar a escala e a noção de espaço, mas em VR dá para sentir isso de verdade, e foi marcante ver a reação de surpresa ao tirar o headset e voltar para um quarto pequeno
    Eu queria escanear espaços por recordação, mas não foi fácil encontrar nem usar apps relacionados
  • Com um Meta Quest 2 usado, isso dá para fazer por uns 100 dólares
  • Para um projeto de hobby com orçamento limitado, o jeito com iPhone faz sentido, mas se for usado em proposta comercial, 3.500 dólares podem ser um investimento para aumentar a receita
  • ARKit foi a primeira coisa que me veio à cabeça, e o tamanho do mercado acessível também é muito maior

• Criar um mundo 3D e andar por ele parece ser um recurso padrão de qualquer headset VR, então não entendi o que há de especial

  • O recurso em si e a aplicação real desse recurso são coisas diferentes
  • Eu já tinha feito um hackathon com esse conceito com o Oculus Rift DK1 há uns 15 anos
  • Quando aplicado a reforma residencial, a grande diferença não era VR pura, e sim o alinhamento de AR. É enorme poder vivenciar diretamente onde as mudanças virtuais se encaixam no espaço real
  • Um lado é brinquedo; o outro é uma ferramenta para evitar erros antes de investir centenas de milhares de dólares
  • O rastreamento posicional em escala de cômodo tratado no texto só apareceu nos primeiros headsets de consumo em 2016. Nas décadas de 1980 a 2000, a maioria só fazia rastreamento da cabeça, e rastreamento posicional em tempo real exigia equipamentos muito mais caros e fortes restrições de espaço
    Para mapear um espaço grande, é preciso rastreamento posicional de baixa latência e rastreamento por referências internas, e para explorar vários cômodos isso é praticamente indispensável. O mundo 3D também precisa caber em um orçamento gráfico mais que duas vezes maior do que o do headset, então o fato de renderizar algo exportado diretamente como USDZ do Fusion mostra o desempenho do AVP. Combinar vídeo do mundo real com 3D e aplicar iluminação, reflexos e transparência também era algo tão difícil no passado que exigia várias máquinas grandes e caríssimas

• Escaneei um ginásio local de escalada e mapeei vídeos de escalada na parede: https://kmcheung12.github.io/climb-preview/w/a6ece004
  Aplicações 3D são muito subutilizadas, e existe um campo de interação que a web de texto não consegue oferecer

  • Concordo que são subutilizadas, mas fico em dúvida se oferecem valor suficiente para justificar o custo de ampliar o uso

• Com qualquer headset VR moderno isso dá para fazer, mas ainda assim é um uso bem legal

  • Só pela reação, eu esperava um resultado muito sofisticado e refinado, mas na prática isso está no nível de algo que até um headset 10 vezes mais barato conseguiria fazer
  • Eu esperava um app que funcionasse como uma versão VR de um medidor a laser para interiores. Você segura a peça de madeira, o VR indica onde instalá-la, e outro trabalhador, usando o headset, a fixa na coluna com precisão inferior a 1 mm
  • Pelo título e pela quantidade de votos, achei que tinham encontrado um novo caso de uso para justificar o preço de ~~3.500 dólares~~ 3.700 dólares, mas fiquei bem decepcionado
  • Dá até com Google Cardboard