Fundação Overture Maps divulga o primeiro dataset aberto de mapas em escala mundial

 (overturemaps.org)
1 pontos por GN⁺ 2023-07-28 | 1 comentários | Compartilhar no WhatsApp
  • Primeira versão oficial de um dataset aberto de mapas com nível de qualidade de mercado, composto por 4 camadas principais, oferecendo dados globais baseados em mapas que qualquer pessoa pode usar livremente
  • A camada Places of Interest (POI) inclui mais de 59 milhões de locais no mundo todo, criando a base para serviços baseados em localização, como navegação e busca local
  • Estrutura multicamadas que integra Buildings, Transportation e Administrative Boundaries, cobrindo edifícios, malha viária e limites administrativos
  • Todas as camadas são formatadas com o schema de dados da Overture Maps, dando suporte à coleta e ao uso em um padrão interoperável
  • Um ponto de virada para resolver, por meio da colaboração em um modelo de ativo compartilhado, os custos de coleta e manutenção de dados globais de mapas, que se tornaram difíceis de sustentar por uma única organização

Visão geral do lançamento

  • A Overture Maps Foundation (OMF) divulgou seu primeiro dataset aberto de mapas na versão Overture 2023-07-26-alpha.0
  • Composto por 4 camadas de dados distintas: Places of Interest (POIs), Buildings, Transportation Network e Administrative Boundaries
  • Cada camada combina diferentes fontes abertas de dados de mapas e passa por uma série de verificações de qualidade para validação e integração (conflation)
  • Lançado com o schema de dados da Overture Maps divulgado em junho de 2023
  • O dataset Places inclui mais de 59 milhões de locais em todo o mundo e serve como elemento fundamental para navegação, busca local e vários aplicativos baseados em localização
  • O dataset pode ser baixado na página de download

Composição da fundação e contexto

  • Fundada em dezembro de 2022 por AWS, Meta, Microsoft e TomTom
  • Hoje conta com a participação de mais de uma dezena de empresas de mapeamento, geoespacial e tecnologia; os novos membros incluem ESRI, Cyient, InfraMappa, Nomoko, Precisely, PTV Group, SafeGraph, Sanborn e Sparkgeo
  • Parte da premissa de que os dados de mapas devem ser um ativo compartilhado para sustentar as aplicações do futuro
  • À medida que crescem as exigências de precisão, atualização e procedência dos mapas, o custo e a complexidade de coletar e manter dados globais de mapas ultrapassam a capacidade de uma única organização

Detalhes das camadas de dados

  • Places of Interest

    • Inclui mais de 59 milhões de registros de POI que nunca haviam sido disponibilizados anteriormente como dados abertos
    • Derivado de dados contribuídos à OMF pelos membros fundadores Meta e Microsoft, fornecendo uma linha de base para dados globais de locais
    • No futuro, os dados serão continuamente melhorados, atualizados e ampliados com a combinação de recursos disponíveis, como dados governamentais abertos, dados locais de mapeamento colaborativo e técnicas de AI/ML
    • Licenciado sob CDLA Permissive v2.0, podendo ser usado livremente por criadores de mapas e provedores de serviços de localização

  • Buildings

    • Inclui mais de 780 milhões de footprints de edifícios únicos no mundo todo
    • Desenvolvido pela combinação de vários projetos abertos de dados, como OpenStreetMap, footprints de edifícios gerados por IA da Microsoft e Esri

  • Transportation

    • Representação global da malha viária derivada de dados do OpenStreetMap
    • Reestrutura os dados criados pela comunidade no formato de dados da Overture, oferecendo segmentação consistente e sistema de referência linear (linear reference system)
    • Também dá suporte à adição de dados como limite de velocidade e volume de tráfego em tempo real

  • Administrative Boundaries

    • Dataset aberto global de limites administrativos nacionais e regionais
    • Os nomes das regiões são traduzidos para mais de 40 idiomas, apoiando o uso internacional

Schema de dados e interoperabilidade

  • Todas as camadas são formatadas com o recém-lançado schema de dados da OMF
  • Projetado para que desenvolvedores de serviços de mapas possam coletar e usar dados de forma padronizada e documentada, com interoperabilidade

Objetivo da divulgação e planos futuros

  • Os dados foram lançados publicamente para coletar feedback do público, que pode ser enviado pelo GitHub ou por e-mail
  • Novas fontes abertas de dados serão integradas em lançamentos futuros
  • Cada camada será convertida adicionalmente para o schema da OMF
  • Está prevista a implementação do Global Entity Reference System, um sistema estável de IDs que permite adicionar dados de forma consistente a elementos do mapa

Leituras relacionadas

1 comentários

 
GN⁺ 2023-07-28
Opiniões do Hacker News

  • Overture Maps é um projeto de grandes players da área geoespacial — TomTom, Amazon, Microsoft etc., excluindo o Google — para usar datasets abertos, como o OpenStreetMap, junto com seus próprios dados proprietários e métodos de processamento
    É um consórcio que pretende enriquecer dados geoespaciais baseados em dados abertos, cada um com processos proprietários, e depois redistribuir o resultado sob a relativamente permissiva Community Database License Agreement - CDLAv2, mantendo fechados os dados de origem e os processos necessários para criar esse dataset
    Há muita discussão na comunidade OpenStreetMap, mas, no geral, é visto como positivo que tantos recursos estejam sendo investidos no ecossistema adjacente ao OSM

    • Os mapeadores do OSM ficaram bastante insatisfeitos com as edições feitas por empresas associadas à Overture
      O problema ocorria tanto quando eram edições feitas por contratados mal pagos quanto quando eram imports em massa de conteúdo extraído de imagens de satélite por inteligência artificial
    • Fico curioso para saber como isso é possível
      Eu entendia que o OSM tinha uma licença que, quando combinado com outros dados, obrigava a publicar tudo sob a mesma licença
    • Se ao menos divulgassem os nomes das fontes de dados, isso já seria realmente útil
      Por exemplo, em uma análise de acesso a serviços de saúde com base geoespacial em que estou trabalhando agora, seria extremamente valioso poder confiar que a camada de places é uma fonte bastante precisa para a localização de prestadores de saúde
      Dá muito trabalho juntar dados do CMS e dados de planos de saúde e geocodificar tudo com o geocodificador OSM Tiger; então, se já existirem dados limpos, isso ajudaria muito

  • Se você está procurando um mapa propriamente dito, como o Google Maps, recomendo muito o Protomaps https://protomaps.com/
    Todos os dados do mapa ficam dentro de um único arquivo no formato PMTile, e é possível obter os dados vetoriais necessários para uma área/zoom específica por meio de range requests para esse arquivo
    Por exemplo, dá para subir myfile.pmtiles no S3, fazer uma Lambda receber x/y/z no caminho e solicitar o intervalo correto, enquanto o CloudFront armazena em cache as respostas dos tiles
    Depois, basta usar tiles.mydomain.com ou o domínio do CloudFront diretamente e, no frontend, buscar e renderizar os tiles com algo como Leaflet
    No Leaflet, você usa o plugin/biblioteca do protomaps e passa uma URL como "[https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt](<https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt>;)"; nesse caso, 20230408 corresponde a 20230408.pmtiles no bucket S3
    Também é bom poder colocar um novo arquivo pmtiles no bucket e atualizar o cliente para usar a nova fonte, e, como os tiles estão em formato vetorial, o cliente pode aplicar o tema como quiser
    Você não precisa necessariamente usar um tileset global com mais de 100 GB; também dá para baixar apenas uma área geográfica específica com uma ferramenta fornecida pelo mesmo desenvolvedor https://app.protomaps.com/downloads/small_map
    O arquivo .pmtiles tem pouco mais de 100 GB, mas toda a configuração estava funcionando em uma ou duas horas, no máximo, e o custo operacional deve ser muito menor que o do Google Maps

    • A demo não ajuda muito
      Ela parece parar em um nível de zoom arbitrário, então faltam detalhes que me importariam ao avaliar essa solução
      Fuçando no repositório do GitHub, aparece https://protomaps.github.io/PMTiles/?url=https%3A%2F%2Fr2-pu..., que, embora não substitua completamente o Google Maps, pelo menos é mais detalhado
    • É legal, mas preciso enviar mapas raster para o meu endpoint
      Fico me perguntando se existe uma forma fácil de usar mapas MVT para gerar tiles na hora, colocar um backend CGI com cache e renderizar com Leaflet
      Tenho um pequeno projeto pessoal de renderizador de mapas feito com Leaflet e, hoje, uso fontes de tiles do Google, OSM e Esri; seria bom ter mais fontes
    • Isso quer dizer uma execução de Lambda para cada tile?

  • “Limites administrativos: um dataset aberto global de limites administrativos nacionais e regionais, incluindo nomes de regiões traduzidos para mais de 40 idiomas a fim de dar suporte ao uso internacional” — isso deve ficar interessante
    Se não me engano, o Google Maps mudava a exibição das fronteiras de acordo com a perspectiva do local de onde o mapa era solicitado, para evitar se envolver em disputas
    Em muitos países, não exibir as fronteiras “corretamente” é crime
    Fonte relacionada: https://qz.com/224821/see-how-borders-change-on-google-maps-...

    • A menos que você esteja criando um concorrente do Google Maps, em 99% dos casos não vai precisar dos países que têm fronteiras disputadas
      Se você não tiver milhões de usuários, é provável que, mesmo dentro desses países, ninguém se importe

  • É bom disponibilizar os dados, mas, quando você tenta de fato obtê-los, parece que deixaram tudo o mais complicado possível
    Ter que usar DuckDB para importar... não entendo por que simplesmente não oferecem suporte a um arquivo de dump do MySQL
    Também questiono por que o usuário deveria ter DuckDB, e se DuckDB é assim tão popular
    O link fornecido também não funciona, então parece que não há nada realmente utilizável; não sei como esperam que alguém use isso
    Além disso, exigem Amazon S3 e algo como uma linguagem de consulta não padrão para acessá-lo, o que não faz sentido para mim
    Imagino que eu não seja o único; isso precisa ser mais genérico do que é agora

    • Eu ia dizer que é meio grosseiro trancar os dados atrás de uma conta da AWS ou do Azure, mas, realisticamente, não dá para se surpreender que grandes provedores de nuvem queiram fazer as pessoas usarem mais serviços de nuvem
      Se a AWS ou o Azure quisessem, nada impediria abrir s3:Get e s3:List nesses buckets para permitir leitura sem autenticação

  • Como colaborador do AllThePlaces, tenho interesse neste tema https://www.alltheplaces.xyz/
    AllThePlaces é um projeto open source que reúne spiders Scrapy para rastrear sites de franquias e redes varejistas do tipo que apareceriam no name-suggestion-index, e coleta dados de localização sob licença CC-0 http://nsi.guide/
    Estamos reunindo dados de pouco menos de 3 milhões de pontos de interesse a partir de quase 1.700 spiders
    Overture Maps parece ser um projeto bastante fechado e proprietário, e sua abertura parece se limitar à alegação de que é possível baixar o conjunto de dados e a especificação do esquema
    Para começar, não há uma explicação pública de como os dados foram gerados, então usuários finais dificilmente podem ter garantia de exatidão e completude
    Limites administrativos são terrivelmente complexos e envolvem fronteiras disputadas, ambiguidades consideráveis na definição de limites e compromissos entre o desempenho de algoritmos que usam dados de limites administrativos e a precisão desses limites
    Não dá para saber quais definições de limites o Overture Maps segue, nem se consegue oferecer suporte a várias definições
    É possível que a Microsoft tenha fornecido informações geográficas em ld+json/microdados obtidas do rastreamento da internet pelo BingBot, mas esses dados são notoriamente imprecisos: campos são misturados ou reutilizados de forma errada, páginas continuam no ar mesmo quando o nome de um campo contém “CLOSED” para indicar que o local fechou há 5 anos, e as especificações de horário de funcionamento também são muito ambíguas
    No AllThePlaces, muitas spiders exigem decisões humanas bastante complexas para combinar os dados bagunçados que organizações como lojas e redes de restaurantes publicam em seus sites
    Mesmo para informações de localização que podem exigir exatidão e precisão de ±1–5 m, como lojas individuais dentro de um shopping, fontes oficiais normalmente fornecem dados com precisão de 1 mm e exatidão de ±10–100 m
    Lugares como AllThePlaces, Overture Maps e Google Maps ainda precisam de editores humanos que fazem levantamento em campo — isto é, editores do OpenStreetMap — para marcar a posição exata e padronizar a definição de localização
    Também é preciso definir se a posição de um ponto deve ser o centro do maior polígono regular que caiba dentro de todo o polígono irregular, o centro de massa de uma lâmina plana, ou a localização da entrada principal
    Se o Overture Maps depender do BingBot para dados de lugares, deixará passar um número enorme de pontos de interesse que o BingBot jamais encontrará
    Por exemplo, há casos em que só chamadas REST/JSON/GraphQL API não documentadas, ou a modificação de parâmetros em chamadas observadas a uma API de localizador de lojas, retornam todas as localizações e campos relacionados
    Desenvolvedores web costumam fazer coisas idiotas como colocar no robots.txt para rastrear 10 mil páginas com mais de 1 GB em um sitemap atualizado há 5 anos, enquanto bloqueiam 10 chamadas rápidas de API que obteriam 5 MB de dados atuais
    Como os dados do AllThePlaces são CC-0, o Overture Maps pode usá-los livremente e também cruzá-los com outras fontes, como dados de rastreamento do BingBot, bases governamentais sobre estabelecimentos comerciais licenciados e dados de geocodificação de endereços postais
    Mas a sujeira dos dados vindos de várias fontes chegará perto de um nível quase impossível de reconciliar mesmo por humanos, e o Overture Maps talvez tenha que decidir se aceita duplicatas ou abre mão da completude
    Além disso, não há ferramentas públicas para que outras pessoas reproduzam os mesmos dados
    Usuários do AllThePlaces frequentemente são prejudicados por terceiros que estragam a internet, como Cloudflare e Imperva, por bloqueios geográficos personalizados e, ocasionalmente, por mecanismos excessivos de limitação de requisições
    Se o Overture Maps depender do rastreamento do BingBot, terá uma pequena vantagem sobre o AllThePlaces, porque Cloudflare, Imperva, firewalls de clientes etc. permitem intencionalmente o BingBot, mas, para capturar o máximo possível de pontos de interesse no mundo todo, faixas de ISPs residenciais e softwares de evasão de detecção de bots se tornam cada vez mais necessários
    É preciso ter pessoas em dezenas de países e rastrear sites voltados a cada país a partir do espaço de endereços de ISPs residenciais desse país
    Caso contrário, o resultado será uma visão de mundo norte-americana, europeia ou algo que não seja o quadro completo
    Se o Overture Maps tiver localizações incorretas de uma franquia/marca específica por problemas de limpeza de dados, fontes ruins ou talvez fontes não oficiais, não há um repositório de software onde essa franquia/marca possa abrir uma issue ou enviar um patch
    Exemplo de um shopping center australiano capturado pelo AllThePlaces: https://www.alltheplaces.xyz/map/#18.07/-33.834646/150.98952...

    • É verdade que “não há ferramentas públicas para que outras pessoas reproduzam os mesmos dados” e, na verdade, esse é o ponto central do Overture
      Overture foi criado para permitir que empresas privadas usem dados abertos como os do OpenStreetMap, ao mesmo tempo em que os combinam com seus próprios dados e processos proprietários
      A intenção é compartilhar o resultado sob uma nova licença relativamente permissiva, a Community Database License Agreement, mantendo proprietários o processo e os dados subjacentes
    • Concordo fortemente
      Há também um verniz claramente promocional aqui
      Parece que querem apresentar esses mapas como uma base “confiável” ou “oficial” e usá-los como fundamento para decisões em comércio, segurança, seguros ou atividades valiosas baseadas em dados, ainda que não necessariamente críticas
      Fico em dúvida sobre que tipo de recurso o público ou a fiscalização pública poderiam ter nesse caso

  • O repositório no GitHub está aqui: https://github.com/OvertureMaps/data
    A licença parece bastante permissiva e, embora eu não conheça tão bem o estado atual do ecossistema de mapas abertos, a ideia do GERS também parece boa
    https://docs.overturemaps.org/gers/

    • A licença CDLA tem um cheiro de “não inventado aqui”, mas pelo menos parece uma licença permissiva de verdade, não um falso open source
      Curiosamente, duas das quatro camadas usam ODbL

  • Não está claro como a Overture poderia lavar a licença dos dados do OSM aqui
    Está escrito: “Transporte: a camada de transporte do OMF representa uma malha viária mundial derivada de dados do projeto OpenStreetMap. Esses dados construídos pela comunidade foram reestruturados no formato de dados da Overture para oferecer uma divisão consistente dos dados e um sistema de referência linear que dá suporte à adição de dados como limites de velocidade ou tráfego em tempo real”
    A ODbL do OSM é muito clara quanto à necessidade de dar crédito aos colaboradores do OSM
    É difícil acreditar que a CDLA Permissive v2.0 faça, por mágica, a Overture contornar isso
    Correção: deixei passar que cada conjunto de dados usa uma licença diferente
    O tema transport é ODbL, então usuários desatentos com certeza devem tropeçar nisso

    • Parece que novos dados gerados pelo Overture Maps podem ser enviados ao OSM, se quiserem
      A licença CDLA é permissiva: https://cdla.dev/permissive-2-0/
      Pela minha interpretação, a ideia não é evitar os créditos ao OSM, mas manter os créditos e a licença do OSM nas partes vindas do OSM e licenciar o restante sob a CDLA 2.0 para que qualquer um possa usar
    • A Overture pode parecer hostil ao OpenStreetMap, mas não vejo lavagem de licença aqui
      O artigo afirma que a licença CDLA se aplica não aos dados do OSM, mas aos dados fornecidos pela Meta e pela Microsoft
      É uma pena que Meta e Microsoft não contribuam seus dados para o OSM e os publiquem sob outra licença, mas é assim que o mundo funciona

  • Excelente
    Acho que um dia o Google vai tentar extrair mais receita do Maps do que extrai hoje, e aí esses sistemas colaborativos de mapas vão ganhar muita força
    Seria bom haver uma forma de financiar a compra de imagens de satélite pelas pessoas e depois inseri-las nesses sistemas
    Por exemplo, Sunnyvale pagou bastante pelas imagens da cidade que usa ao discutir trânsito, zoneamento etc.; seria ótimo se essas imagens pudessem entrar em um conjunto de dados público

    • Não há exatamente um motivo técnico para essas imagens não poderem ser contribuídas
      Se bem me lembro, o Google também usa imagens de propriedade de governos locais em seus produtos
      Uma única cidade talvez não seja uma fonte grande o bastante para o Google se importar, mas, especialmente na Europa, já vi avisos de copyright de governos nacionais e regionais ao visualizar imagens
      Dito isso, hoje há muitas fontes de imagens de satélite, então talvez o Google não esteja tão sedento por material novo
      Os fornecedores comerciais com os quais o Google coopera provavelmente fotografam todo o território continental dos EUA mais ou menos uma vez a cada 12 meses
      O que parece ter mais demanda são imagens aéreas usadas em níveis de zoom muito altos
      Não sou especialista em geoespacial, mas esse tipo de imagem parece ser combinado com coisas como LIDAR ou imagens multiespectrais para criar mapas de altura junto com o material visual, e o custo de obtenção parece bastante alto

  • Qual é a diferença entre isto e o OpenStreetMap?

    • O OpenStreetMap é uma comunidade de pessoas criando uma base de dados de mapas totalmente aberta
      Ele cobre todo tipo de detalhe, de ruas, lojas e rios a pontos turísticos, trilhas de caminhada e hospitais
      Qualquer pessoa pode contribuir e, falando como alguém bastante envolvido com o OSM, se você quiser colocar algo no mapa, especialmente na sua região, será bem-vindo
      A Overture é um novo grupo de empresas distribuindo alguns conjuntos de dados sob licença aberta, mas os métodos usados para criá-los continuam proprietários
      Parte dos dados que publicaram é deles, e muitos conjuntos de dados são dados do OpenStreetMap reempacotados
    • Eu estava me perguntando a mesma coisa, e a FAQ da Overture responde exatamente a essa pergunta
      A Overture é um projeto de mapas centrado em dados, não uma comunidade de editores individuais de mapas, então seu objetivo é complementar o OSM
      Ela combina o OSM com outras fontes para criar novos conjuntos de dados cartográficos abertos, e os dados da Overture são disponibilizados sob licenças abertas compatíveis para uso pela comunidade OpenStreetMap
      As empresas associadas à Overture são incentivadas a contribuir diretamente para o OSM
    • Em certo sentido, o OSM é mais impressionante que a Wikipedia
      Há uma estrada de cascalho perto da minha casa que talvez umas 20 pessoas usem por dia e, por causa de uma obra próxima, parte dela foi deslocada alguns metros para o lado
      O OSM refletiu essa nova realidade já no dia seguinte
    • O OSM é principalmente um mapa feito por pessoas, enquanto isto é principalmente feito por máquinas
    • Isto permite lavar a licença dos dados do OpenStreetMap para um sistema proprietário, de modo que grandes empresas possam usá-los sem contribuir de volta

  • Alguém já colocou isso no BigQuery?
    Sei que o clima é de “vaiar o Google”, mas eu só queria fazer alguns joins com outras tabelas que tenho no BigQuery
    Fico me perguntando se existe algo como um BigQuery da comunidade que eu possa usar em vez de manter minha própria importação