Busca por todo o texto dentro da cidade de Nova York
(alltext.nyc)- Mais de 8 milhões de imagens do Google Street View foram analisadas com IA para extrair 138 milhões de textos de rua
- Isso foi transformado em um banco de dados pesquisável de textos de rua de NYC, criando um mecanismo de busca
- Como obra do artista de mídia Yufeng Zhao, o projeto mostra no mapa a distribuição espacial de palavras específicas (por exemplo: pizza, Broadway, luxury, beware, gold, iglesia, jerk etc.), visualizando características culturais, comerciais e regionais
- Um experimento para ler a paisagem urbana de NYC como uma espécie de “código-fonte”, além de propor uma nova forma de explorar dados urbanos
Visão geral do projeto
- Objetivo: coletar e tornar pesquisável o texto visível em toda NYC
- Fonte dos dados: Google Street View (2007~2025, mais de 8 milhões de imagens)
- Tecnologia: reconhecimento de texto em imagens (OCR), mapeamento de coordenadas de localização
- Limitação de escopo: inclui apenas textos dentro do campo de visão das ruas que um carro consegue registrar (excluindo becos, parques e letras pequenas)
Principais exemplos de visualização
- Pizza: distribuição das pizzarias por toda NYC
- Broadway: sinalizações de Broadway em todos os boroughs e áreas com alta concentração de teatros
- Luxury: frases promocionais de novos complexos residenciais, concentradas na região de Hudson Yards
- Beware: concentrado em áreas residenciais periféricas com casas e cercas, quase ausente em Manhattan
- Gold: distrito dos diamantes e ruas com lojas de compra de ouro
- Iglesia: localização de igrejas em comunidades hispanofalantes
- Jerk: regiões de Flatbush e Jamaica, com muitos restaurantes de culinária jamaicana
- Unisex: distribuição geográfica de salões e barbearias unissex
Casos de texto interessantes
- Fedders: logotipo da marca de ar-condicionado embutido das décadas de 1950 a 1990, ligado ao fenômeno das “Fedders houses”
- Yodock: marca de barreiras plásticas para calçadas em áreas de obra
- 4Cars (Acars): anúncio colado ilegalmente de compra de carros usados, com erro de reconhecimento pelo OCR
- Sabrett: marca icônica dos carrinhos de cachorro-quente de NYC, distribuída em áreas turísticas
- Halal: lojas e carrinhos de comida halal, iniciados nos anos 1980 e consolidados como parte da cultura alimentar urbana
- Siamese: nome de um tipo de conexão de mangueira de incêndio
- Surveillance: avisos sobre câmeras de vigilância, presentes em instalações públicas e privadas por toda parte
Interpretação e significado
- O projeto reinterpreta a cidade como um mapa baseado em texto, revelando visualmente traços de comércio, cultura, segurança e infraestrutura
- A distribuição geográfica de determinadas palavras está intimamente ligada a esferas culturais, setores econômicos e características sociais
- Palavras relacionadas a alerta e vigilância refletem a cultura de segurança e controle de NYC e o caráter documental do espaço público
- Os dados podem ser usados não só para visualização, mas também como material de pesquisa para história urbana, sociologia e branding
4 comentários
O texto principal está bem alucinado, viu.
"all text in nyc"é um mecanismo de busca que encontra texto nas imagens do Google Street View da cidade de Nova York. Pesquise qualquer palavra ou frase para ver onde ela aparece pela cidade — em letreiros de lojas, grafites, anúncios e cartazes de protesto.O site em si pega o Street View inteiro, roda OCR em tudo e permite encontrar palavras específicas.
Foi corrigido.
É realmente muito interessante, mas dá um pouco de medo pensar que quem fez isso não foi nem o governo nem uma empresa como o Google
Dá para sentir como o mundo está transbordando de dados
Comentários no Hacker News
Este outro artigo sobre o site também é bem interessante: é o projeto Street View do The Pudding
O The Pudding é um dos melhores conteúdos que dá para encontrar na internet hoje em dia
Adicionei no topo
No YouTube há pessoas que gravam vídeos caminhando por várias cidades. Pessoalmente, gosto especialmente dos vídeos de caminhada por Tóquio/Japão. Acho que também seria incrível tentar criar mapas 3D a partir desses vídeos. Não é minha área de especialidade, mas imagino que já existam empresas que fizeram isso. Há uma quantidade enorme de dados nesses vídeos. Talvez até desse para usar de graça no treinamento de robôs (como robôs de entrega andando no meio da multidão)
Tecnicamente, parece que seria uma combinação de SLAM, fotogrametria e VIO, mas como não há IMU, essa parte teria de ser estimada a partir do vídeo. Até os frames e o flicker da iluminação provavelmente seriam rápidos demais
Links de exemplo: passeio pelas ruas de Tóquio, outro exemplo
De forma parecida, seria muito útil existir uma ferramenta que reconstruísse plantas baixas a partir de imagens estáticas, como fotos de imóveis. Mesmo que exigisse alguma entrada manual parcial, ainda seria bem útil
Antigamente havia alguém que gravava vídeos no YouTube visitando lojas de eletrônicos em Tóquio. Surpreendentemente, vários dos melhores lugares para comprar smartphones ou peças de robô ficavam em prédios nada chamativos, lugares que você simplesmente não saberia encontrar sem conhecimento local. Se algo assim realmente fosse implementado como você sugeriu, ajudaria muito viajantes a encontrar esses lugares. Eu realmente adoraria ver isso
Acho que seria muito interessante se o Google Maps adicionasse esse tipo de recurso à busca. Muitas vezes sinto que procurar informações no Google Maps deixa a desejar. Recentemente tentei achar lugares que servissem café especial no sul de Gran Canaria e, no fim, só havia um dentro de um hotel, e levei 30 minutos para encontrá-lo. Eu pesquiso com termos de filtro que costumo usar, como "pourover" ou "v60", mas se o café não mencionar isso claramente na descrição ou nas avaliações, fica difícil encontrar. Parece que o texto nas fotos tiradas por clientes (por exemplo, cardápios) nem chega a ser indexado
Se você procurar por V60, parece que devem aparecer principalmente carros da Volvo, mas fico curioso sobre quantas fotos realmente existem em cafés com esse termo
Se as cafeterias não estavam pensando nesses termos, talvez agora valha a pena considerar. Sinceramente, acho que eu mesmo vou voltar a consultar esse site
Vim aqui porque fiquei curioso com o GitHub de quem preparou os dados. Queria saber quantos recursos computacionais foram necessários para analisar os dados de Nova York. Eu adoraria fazer isso na minha cidade também, mas meu orçamento provavelmente seria pequeno demais. Veja o GitHub do yz3440 (os comentários abaixo estão certos; na verdade, o que preocupa não é tanto a computação, e sim a cobrança da Google Maps API. Se fosse feito de graça, provavelmente o autor teria levado anos. Invejo o orçamento dele)
Espero que o custo computacional do OCR seja barato. Com um PC pessoal potente, imagino que uma noite ou uma semana já bastaria. O problema é o custo de uso da Google Maps API. A menos que o projeto seja reconhecido como projeto artístico e as taxas sejam dispensadas, o peso é grande. Veja os preços do Maps Platform — em cidades grandes, com muitos panoramas, já passa de milhares de dólares acima do nível gratuito
Segundo o artigo, foram usados 8 milhões de panoramas, então só com a Street View API isso deve ter custado cerca de 30 mil dólares (a API de imagens estáticas tem resolução mais baixa, então provavelmente sairia o dobro mais caro). OCR, se não for urgente, parece bem mais barato. Por exemplo, uma GPU comum rodando um servidor PaddlePaddle conseguiria suportar 4 MP por segundo. Com hardware de alguns milhares de dólares, daria para processar em uns 3 a 6 meses (dependendo da resolução e do tamanho do modelo)
Sendo 8 milhões de imagens, isso dá 13,2 imagens por segundo ao longo de uma semana. O que me pergunto é se os dados foram extraídos usando a API do Google ou se houve alguma colaboração com o Google
Fiz as contas com o Claude e deu algo em torno de 8.000 dólares para baixar todas as fotos de rua de Taipei pela gmap api em intervalos de 3 m. É caro, mas não é um valor impossível
Acho interessante censurarem palavrões como "fuck". Não sei se o cérebro da pessoa é realmente afetado por ler a palavra escrita por completo de propósito
Dá para encontrar a palavra nas fotos reais. A menos que tenha sido censurada separadamente em algum lugar na versão do Street View, não sei
Provavelmente por SEO ou por política family-friendly (ou ambos). Só para comparar, no YouTube também há a regra de evitar palavrões no primeiro minuto do vídeo
Ao buscar por "Fool", aparecem muitos erros de OCR, por causa de obstruções e coisas assim exemplo de resultado de busca. "Surgery of the Fool" é o melhor
Parece que seria muito útil para OSINT (inteligência de fontes abertas). Fico imaginando se agências de inteligência já não têm algo assim em escala global
Projeto muito legal. Se ainda incluísse embeddings tipo CLIP, permitindo busca vetorial semântica não só por texto, mas também por coisas como "briga de pessoas", "gato e cachorro", "Tesla vermelha", "palhaço", "criança e cachorro", seria 10 vezes mais incrível
Há também projetos relacionados como All Text in NYC e All text in Brooklyn
Isso me lembrou um serviço chamado NY Cerebro. Ele permite busca semântica usando centenas de câmeras públicas de rua de Nova York nycerebro.vercel.app (por exemplo, buscando por "scaffolding")
Fiquei surpreso com a resolução muito baixa das câmeras públicas de rua. Somando isso ao reflexo das luzes dos carros, o resultado não é nada satisfatório
Esse serviço foi um projeto que ficou em primeiro lugar num hackathon da NVIDIA e da Vercel