Como construir um banco de dados de geolocalização de IP do zero?

• O artigo explica o conceito de geolocalização, que mapeia endereços IP para localizações geográficas definidas por latitude e longitude.
• A inteligência de geolocalização tem diversas aplicações para negócios online e provedores de serviços, como publicidade direcionada, detecção de fraude, localização de conteúdo, gestão de direitos digitais, segurança de rede e análises.
• A precisão da geolocalização por IP pode ser afetada pela distribuição geográfica das redes IPv4 e IPv6 e pela redistribuição de redes IP por registros regionais da internet ou empresas de leasing de IP.
• Construir um banco de dados de geolocalização do zero envolve extrair dados de geolocalização de registros WHOIS, interpolar conhecimento de geolocalização a partir desses registros e aproveitar projetos open source de geolocalização.
• Os dados de geolocalização coletados podem estar incompletos ou inconsistentes, por isso precisam ser enriquecidos e convertidos para um formato comum usando bancos de dados geográficos open source.
• O artigo fornece um guia passo a passo sobre como extrair dados de geolocalização de registros WHOIS e interpolar conhecimento de geolocalização a partir deles.
• O artigo discute vários projetos open source de geolocalização e destaca o papel deles na melhoria da precisão de bancos de dados de geolocalização.
• O artigo enfatiza a complexidade de localizar geograficamente endereços IP e a importância da precisão das APIs de endereço IP.
• O RIPE IPmap é uma API que fornece dados de geolocalização para infraestrutura central da internet e infere a geolocalização de endereços IP usando diversos mecanismos, incluindo latência, mecanismo de raio único e mecanismo de DNS reverso.
• O banco de dados do RIPE IPmap pode ser baixado em formato CSV, incluindo IP, geolocation_id, city_name, state_name, country_name, country_code_alpha2, country_code_alpha3, latitude, longitude, score.
• A precisão e a cobertura do projeto RIPE IPmap diminuíram bastante, e não houve novas contribuições desde 2019.
• Geofeed-finder, um projeto open source criado por Massimo Candela, pesquisa arquivos geofeed em dados whois, verifica a propriedade dos prefixos, gerencia cache e valida códigos ISO.
• O serviço LACNIC Geofeeds fornece informações de geolocalização para uma parcela significativa dos membros da LACNIC, e esses dados podem ser baixados publicamente.
• OpenGeoFeed é um projeto open source que compila geofeeds autopublicados em um único arquivo geofeed.
• Dados de geolocalização muitas vezes são enriquecidos considerando fontes de terceiros com bancos de dados geográficos open source como geonames.org, openstreetmap.org e naturalearthdata.com.
• O processo de enriquecimento de dados inclui encontrar latitude e longitude (coordenadas) para uma determinada cidade e país, ou obter a cidade e o país mais próximos dessas coordenadas.
• O Ipapi.is enriquece informações de geolocalização usando bancos de dados como GeoNames Postal Code Files, cities500.zip e countryInfo.txt, e oferece um plano gratuito com 1.000 requisições diárias grátis para a maioria dos usuários.

[GN⁺]

Opiniões do Hacker News

• Artigo sobre como construir um banco de dados de geolocalização de IP
• Um funcionário da IPinfo explica a metodologia de geolocalização de IP da empresa, identificando a localização ao pingar endereços IP a partir de vários servidores no mundo e usar um processo de medição multilocal
• O método da IPinfo quase alcança precisão em nível de CEP, e a empresa possui mais de 600 servidores de sondagem no mundo todo
• Aponta que conjuntos de dados públicos de geolocalização de IP frequentemente estão desatualizados, não são precisos o suficiente e carecem de um processo de validação, o que os torna pouco confiáveis
• Sugere usar a Cloudflare para geolocalização de IP, pois ela fornece gratuitamente informações aproximadas de localização de IP
• Um usuário critica sites que usam a localização de IP para definir o idioma, afirmando que isso é uma suposição preguiçosa que ignora o cabeçalho de idioma do navegador
• Sugestão de que a melhor forma de construir um serviço de geolocalização é como Google e Apple fazem: com um grande volume de dispositivos reportando simultaneamente a localização e o IP
• Alguns usuários questionam a precisão dos dados da ARIN/RIPE para geolocalização, alegando que eles não são confiáveis acima do nível de país
• Um usuário compartilha a experiência de que o Google Maps aprende a localização do IP com base nos lugares explorados no mapa
• Um usuário compartilha a experiência de ter criado o serviço comunitário de localização de endereços IP www.hostip.info, que funciona bem com resolução em nível de país
• Outro usuário compartilha no GitHub um link para uma versão moderna do método geoip baseado em ping
• Alguns usuários expressam insatisfação com serviços de geolocalização de IP, alegando que eles frequentemente são imprecisos