Por que o arquivo de endereços por código postal (PAF) do Reino Unido deve ser aberto
(takes.jamesomalley.co.uk)- Em 2016, o governo do Reino Unido encarregou a Ordnance Survey (OS) de testar se seria possível criar um banco de dados nacional de endereços sem o Postcode Address File (PAF) da Royal Mail, e os documentos divulgados via pedido de acesso à informação mostram que construir uma alternativa independente dificilmente seria viável na prática
- O PAF é o conjunto de dados central dos endereços postais físicos do Reino Unido, mas com a privatização da Royal Mail em 2013, os direitos de propriedade e gestão também passaram ao setor privado, e usá-lo em sites ou apps pode custar mais de £6000 por ano em licenças
- A OS reconstruiu o PAF com o National Address Gazetteer (NAG) e o OS MasterMap, mas a precisão ficou em apenas 90,8% em relação ao AddressBase, gerando 2,9 milhões de endereços incorretos e 4,2 milhões de itens ausentes ou com erro
- A qualidade caiu em locais com estruturas de múltiplos endereços, como blocos de apartamentos, shopping centers, aeroportos, casas identificadas apenas por nome e endereços em acessos privados compartilhados, e a OS avaliou que seria necessária verificação manual dos 4,2 milhões de endereços problemáticos
- Recriar dados de endereço no mesmo nível sem o PAF levaria cinco anos e meio, com resultado ainda pior, e como o próprio código postal também pertence à Royal Mail, a opção mais realista para dados abertos de endereço é retomar o controle do PAF e torná-lo público
Por que o PAF é um conjunto de dados nacional
- O Postcode Address File (PAF) é o conjunto de dados central que reúne todos os endereços postais físicos do Reino Unido
- Não é um dado pessoal, mas um banco de dados de endereços, usado por exemplo em recursos de autocompletar endereço em telas de checkout de lojas online a partir apenas do código postal
- Pesquisadores e desenvolvedores precisam de acesso a dados de endereço precisos para criar ferramentas, serviços e plataformas
- Hoje, é preciso obter licença do PAF com a Royal Mail, e usar os dados de endereço dentro de um site ou app pode custar mais de £6000 por ano
- Essa estrutura de custos cria uma barreira de entrada para desenvolvedores independentes e pequenas empresas, além de atrapalhar o crescimento econômico
A privatização de 2013 e a tentativa do governo em 2016
- Na privatização da Royal Mail em 2013, não só a responsabilidade pela entrega postal, mas também a propriedade e a gestão do PAF passaram ao setor privado
- No último orçamento de George Osborne, em 2016, o governo destinou £5 milhões para desenvolver a opção de um “cadastro de endereços oficial, aberto e de livre uso”
- O documento orçamentário da época avaliava que usar dados de endereço mais precisos de forma mais ampla e com atualizações mais frequentes poderia abrir oportunidades de inovação
- Mesmo oito anos depois, o PAF continua atrás de propriedade privada e de uma barreira elevada de custo
- Os resultados do estudo divulgados por pedido de acesso à informação mostram que o governo pediu à OS que analisasse se era possível reconstruir o PAF sem a propriedade intelectual da Royal Mail
Como a OS montou um banco de dados de endereços sem o PAF
- A OS partiu do National Address Gazetteer (NAG), uma das fontes usadas pela Royal Mail para montar o PAF
- O NAG é composto por dados fornecidos por governos locais, órgãos públicos e pela própria Ordnance Survey
- Quando surge uma nova construção, o conselho local envia as alterações ao NAG
- Diferentemente do PAF, ele inclui não só endereços de edifícios, mas também infraestrutura de utilidade pública como subestações elétricas, além de pontos de ônibus, parques e outros elementos
- Como várias organizações atualizam esses dados de formas diferentes, o NAG não é padronizado como o PAF e os dados são confusos
- A OS aplicou algoritmos para separar, dentro do NAG, os endereços úteis de edifícios de outros elementos viários e urbanos
- Nesse processo, comparou o NAG com seus dados cartográficos gráficos, o Master Map
- Ao analisar vetores e formas geométricas, tentou determinar se um item do NAG era um edifício/endereço individual ou algo como um poste ou uma caixa de correio
- Endereços que não podiam ser identificados com segurança eram estimados, corrigidos manualmente por pessoas olhando o mapa ou, em alguns casos, verificados em campo
- No piloto, a OS criou mais de 21 milhões de registros completos de endereço e 10 milhões de registros parcialmente completos, chegando a uma escala semelhante à do PAF
Limites revelados na avaliação de precisão
- A OS avaliou a qualidade do novo banco de dados comparando-o com o AddressBase
- O AddressBase é outro banco de dados de endereços pertencente à OS, criado com o NAG e outras fontes diferentes
- A diferença importante é que o AddressBase também inclui dados licenciados do PAF, pagos à Royal Mail
- Comparado ao AddressBase, o novo conjunto de dados alcançou apenas 90,8% de precisão
- Isso resultou em 2,9 milhões de endereços incorretos
- Os endereços ausentes do novo conjunto ou incluídos de forma errada somaram 4,2 milhões
- Casos simples, como casas isoladas em que um único edifício corresponde a um único endereço, são relativamente fáceis de reproduzir
- Filtrar itens desnecessários, como infraestrutura de utilidade pública, também é relativamente simples
- Mas assim que a estrutura de endereços fica um pouco mais complexa, os erros aumentam
- Casos em que há vários endereços dentro de um único edifício, como blocos de apartamentos
- Casos como grandes shopping centers ou aeroportos, que no mapa parecem um único edifício/endereço, mas na prática têm centenas de lojas e endereços comerciais
- Casas acessadas por vias privadas compartilhadas
- Casas identificadas apenas por nome, sem número
Correção manual e o problema do tempo
- A OS concluiu que, para um banco de dados sem o PAF ser realmente útil, seria necessário verificar manualmente os 4,2 milhões de endereços problemáticos
- Sem essa etapa, mais de 1 em cada 10 endereços estaria ausente ou incorreto, comprometendo seriamente a confiança no produto
- Organizações para as quais a precisão é crítica, como os serviços de emergência, podem ser especialmente afetadas por esse problema de qualidade
- Mesmo que o governo continuasse o projeto de um novo banco de dados sem o PAF, levaria cinco anos e meio para chegar a um nível utilizável na prática
- Os custos foram ocultados na resposta ao pedido de acesso à informação e não foram divulgados
Um escopo de análise estreito
- O estudo não examinou suficientemente as oportunidades positivas que a abertura do PAF poderia gerar, como criatividade e inovação
- A OS não incluiu dados de endereços de terceiros no novo conjunto sem o PAF
- Uma alternativa possível seria comprar e combinar milhões de endereços de empresas como a Experian
- Também poderia ter sido possível o governo reunir endereços enviados em processos como renovação de carteira de motorista ou declaração de impostos à HMRC e refletí-los em um novo conjunto de dados de endereços
- A qualidade dos dados de endereço depende não só da completude, mas também da frequência de atualização, da velocidade de correção de erros e da precisão em categorias específicas de endereço
Por que abrir o PAF é a conclusão mais realista
- O resultado do estudo mostra que reproduzir o PAF sem usar os dados da Royal Mail é muito difícil
- Uma reconstrução sem o PAF é cara, demorada e resulta, no geral, em um produto pior
- Os códigos postais pertencem à Royal Mail e não podem ser incluídos em um novo conjunto de dados, o que torna os dados inúteis em muitos casos de uso potenciais
- Para obter os benefícios de dados abertos de endereço, o governo precisa retomar da Royal Mail o controle desse conjunto de dados nacional essencial
- Tornar o Postcode Address File um dado aberto continua sendo o caminho mais realista para crescimento e inovação
1 comentários
Opiniões do Hacker News
Do outro lado do canal, o governo francês criou a BAN (Base Adresse Nationale, Base Nacional de Endereços), que contém endereços postais detalhados na França e coordenadas precisas: https://adresse.data.gouv.fr/base-adresse-nationale
Sobre esse banco de dados, são oferecidos uma interface de consulta, uma interface para que os governos locais mantenham os dados atualizados e uma API gratuita para busca de endereços e geocodificação/geocodificação reversa (https://adresse.data.gouv.fr/api-doc/adresse); os dados podem ser baixados sob uma licença aberta
Inserir dados na BAN é obrigatório por lei, e cada município precisa criar e enviar uma Base Adresse Locale
Os dados de origem vieram de várias fontes, como a La Poste, o equivalente francês ao Royal Mail, e o OpenStreetMap
O problema é que esse número corresponde a pelo menos 7 estruturas, das quais 5 são prédios de apartamentos
Cada um desses 5 prédios é dividido em várias caixas de escada com entradas independentes, sem passagens entre si, então na prática funcionam como prédios separados
Meu prédio tem 8 andares, com 2 unidades por andar, mas não há números nem letras nas portas, então preciso dizer aos visitantes “a porta à direita no andar N”; e, até eu colocar meu nome na caixa de correio no térreo, eu nem conseguia receber correspondência
Pelo que vejo, esse tipo de informação não está na BAN
Além disso, no OpenStreetMap, as coordenadas do número da rua da BAN apontam para a ilha central da via em frente à entrada de uma propriedade privada, mas a entrada real não é única
Complementando as respostas abaixo, o problema não é o sistema de coordenadas em si, mas as premissas sobre como elas foram calculadas
Uma concessionária que conheço está presa a uma solução personalizada de modelagem de rede cujo suporte oficial terminou em 2014; como a antiga ferramenta de importação de endereços quebrou, 3 funcionários em tempo integral estão criando e excluindo endereços manualmente
Como o texto aponta, isso foi um erro tremendamente estúpido cometido na privatização do Royal Mail. Naquele momento, teria sido muito fácil resolver, mas agora ficou muito mais difícil
Mesmo que o governo decida fazer isso agora, não dá simplesmente para aprovar uma lei dizendo “o PAF agora é gratuito” sem pagar centenas de milhões de libras em compensação ao Royal Mail
Há também o custo separado de manutenção dos dados, e, em tempos de cortes orçamentários, é uma proposta difícil de defender
Por exemplo, se um locador não informar a conversão de um imóvel em moradia de ocupação múltipla por vários motivos, os moradores podem ter problemas para receber correspondência
Se houver um problema de endereço, primeiro é preciso verificar com o conselho local, então há aspectos que combinam bem com centralização
O governo gastou 5 milhões de libras só em um estudo que concluiu que reconstruir o PAF era impossível; então centenas de milhões de libras até soam como um bom negócio
A conclusão do estudo é que criar um banco de dados preciso é realmente difícil. O OS concluiu que, para transformar um banco de dados sem o PAF em um conjunto de dados realmente utilizável, seria necessário verificar manualmente 4,2 milhões de endereços incorretos
O segredo do sucesso do Royal Mail com o PAF, e o motivo pelo qual só o Royal Mail consegue mantê-lo, é que os funcionários do Royal Mail caminham e dirigem até todos esses pontos de entrega 6 dias por semana
Isso lembra o caso em que colaboradores do OpenStreetMap fizeram um pedido de acesso à informação ao Royal Mail sobre a localização de caixas de correio, mas o pedido acabou sendo recusado sob a justificativa de que essa informação era tratada apenas pelos centros locais de triagem
Esta é uma briga antiga. Quem tem boa memória deve lembrar do conflito de 15 anos atrás, quando um pequeno grupo de desenvolvedores ativistas criou o ernestmarples.com, que oferecia acesso gratuito a dados de códigos postais
O nome do site vinha do inventor do sistema moderno de códigos postais do Reino Unido e, como era de se esperar, ele foi rapidamente fechado depois de ameaças de ação legal da Royal Mail
https://www.theguardian.com/technology/2009/oct/05/ernest-ma...
https://blog.okfn.org/2009/10/05/ernest-marples-uk-postcode-...
Portanto, para quem só quer saber que AB10 1JL corresponde a uma área em torno de 57.14677,-2.09873, os dados já existem
O PAF é uma fonte de dados mais detalhada e, como se vê em https://www.royalmail.com/find-a-postcode, informa quais endereços específicos AB10 1JL inclui, como 102-104 Union Street, Aberdeen, 82 Union Street, Timpson Shoe Repairs Ltd, Smart Mobile etc.
O PAF é útil para oferecer opções de preenchimento rápido de endereço em sites ou para validar dados de endereço
Se você só quer converter um código postal em localização, essa informação já é pública
A solução simples aqui seria o governo pressionar a Royal Mail
Se ela não entregar gratuitamente o arquivo de códigos postais, o governo poderia dizer que criará um novo sistema de numeração e enviará a todas as casas, junto com o próximo carnê de imposto municipal, um cartão de endereço com o novo número, tornando os códigos postais coisa do passado
O novo sistema de numeração deveria ser único por residência e incluir também um dígito verificador, de modo que apenas o número já pudesse ser usado para entregas por operadores logísticos terceirizados como a Amazon
Quando quero descobrir um código postal, procuro no mapa de solicitações de licença de planejamento
Não verifiquei a Inglaterra, mas na Escócia isso certamente é assim; por exemplo, há uma entrada aleatória da St Mungo's Cathedral, em Glasgow, aqui: https://publicaccess.glasgow.gov.uk/online-applications/case...
Por exemplo: subdivisão de lotes, fusão de lotes, duas casas no mesmo lote, prédios de apartamentos, uma casa sendo demolida e substituída por um prédio de apartamentos, etc.
Trabalho na indústria manufatureira, e isso é muito parecido com o problema de numeração de peças; não é nem um pouco trivial, e a empresa em que trabalho também achou que era trivial e acabou lidando mal com isso
Na Holanda, em comparação, todos os dados de códigos postais são dados abertos, incluindo contornos detalhados de edifícios e quase todas as informações relacionadas
A maioria dos conjuntos de dados pode ser vista em https://app.pdok.nl/viewer
Um exemplo que encontro com frequência é o Google Maps localizar meu endereço (cidade, nome da rua, número) e depois tentar convertê-lo de volta para o meu código postal
Parece plausível, mas falha quando você sabe que polígonos de códigos postais podem se sobrepor
No prédio onde moro, há aproximadamente um código postal diferente por andar; então, quando coloco meu endereço em um site que usa a API do Google, ele “gentilmente” preenche automaticamente ou “corrige” meu código postal de 1234AB para 1234AZ
Como todos os códigos postais compartilham as mesmas coordenadas, na prática ele escolhe um deles arbitrariamente
Como a combinação de código postal e número da casa deveria identificar uma caixa de correio de forma única, essa é uma situação realmente ruim; foi apenas sorte que, no conjunto de códigos postais usado no meu prédio, os números das casas não tenham sido reutilizados
O Reino Unido ao menos pode dar a desculpa de que seu sistema de códigos postais tem 60 anos e, portanto, algum entulho legado é inevitável
Já a Irlanda, ao introduzir o Éircode há menos de 10 anos, escolheu um formato opaco em que é preciso pagar pelo acesso ao banco de dados central, e consultas acima de um pequeno volume também são pagas
Como ele trata apenas de casas, também não dá para atribuir um eircode a parques ou trilhas
É exatamente o tipo de coisa que um governo moderno desenharia
Empresas como a IBM é que parecem mais propensas a projetar esse tipo de desastre completo visto em grandes projetos
O que falta são os endereços reais contidos dentro de cada código postal
Para quem está fora do Reino Unido: um código postal britânico restringe a localização não a uma cidade ou região, por exemplo, mas a algo como 1 a 15 edifícios
Na prática, eles costumam ser mais um agrupamento de endereços próximos entre si e muitas vezes é preciso conhecer a região, o que é bem curioso
[0] https://club.ministryoftesting.com/t/what-are-fun-postcodes-...
A maior parte da nossa rua usa um único código postal. Antigamente era uma rua de casas unifamiliares, então talvez fossem umas 30 a 40 residências, mas, como é um subúrbio urbano e a densidade aumentou, algumas casas foram divididas em apartamentos, e uma casa grande isolada chegou a virar seis casas pequenas
Algumas foram compradas e demolidas, sendo substituídas por edifícios que não chamam atenção por fora, mas que são completamente diferentes dos antigos
Onde moro é um prédio residencial dedicado de 4 andares, mas foi projetado para parecer uma casa grande por fora; o térreo fica abaixo do nível da rua, e na fachada do último andar há apenas janelas que parecem de uma conversão de sótão
Mesmo assim, ainda é um único código postal, então provavelmente compartilho o mesmo código com mais de 100 residências
Recodificar isso é confuso e tem pouco valor, então em geral não se faz
Na entrega postal real, o código postal é apenas um elemento de conveniência legível por humanos no endereço, e uma máquina, às vezes com ajuda humana, converte um endereço arbitrário em um código de destino único e depois o imprime como código de barras na correspondência
Por isso, para a Royal Mail, não é um grande problema se o código postal já não for tão descritivo quanto era há 50 anos
Se você observar a correspondência recebida ao longo de alguns dias, verá que, durante a triagem, são impressos por jato de tinta dois códigos de barras em laranja fluorescente
O código de cima é mais próximo de um ID único temporário, emitido para cada item de correspondência dentro do sistema de triagem; quando se esgota, ele recomeça, ajudando em depuração e estatísticas
O código de baixo é, em certo sentido, o sucessor do código postal: é idêntico para todos os itens entregues no mesmo endereço e distinto dos demais endereços
Na prática, ele codifica o Delivery Point tratado pelo PAF, isto é, o ponto onde um funcionário da Royal Mail entrega a correspondência: https://en.wikipedia.org/wiki/RM4SCC
Como usa esse código postal “real”, a Royal Mail consegue aceitar com mais facilidade pedidos pouco realistas de códigos postais “de vaidade”
Se os ricos de Dirt Town quiserem o código postal da vizinha e sofisticada Upper Niceton, a Royal Mail pode permitir, porque as equipes reais trabalham com códigos puramente numéricos e, portanto, continuam tratando aquelas casas de “Upper Niceton” como estando em sua localização real, Dirt Town
Deve existir em algum lugar uma lista de “coisas falsas que programadores acreditam sobre endereços”
Como alguém que foi inquilino de uma casa nova no Reino Unido, o importante não é só o arquivo, mas também o caminho para aplicar patches ao arquivo
Por quase um ano precisei inserir meu endereço manualmente, porque o banco de dados de códigos postais ou as versões antigas que pets.com, cameras.com e looroll.com tinham simplesmente não conseguiam acompanhar a realidade do meu bangalô de preenchimento urbano
Eu era o maldito 8A, não o 8. Agradeço à senhora da casa 8 por ter recebido minhas encomendas durante aqueles meses sombrios
Isso é parecido com o tzdata. Ele é valioso não só por reunir o histórico das configurações geopolíticas de relógio, mas também porque é atualizado no prazo, dentro do orçamento e com cuidado
Libertar o PAF.v2024_08finalfinal_v3_final.doc é ótimo, mas quem vai mantê-lo atualizado continuamente?
Não digo isso por antipatia, e sim de forma realista. O texto original está certo. Não conseguimos vencer por competição, reproduzir nem vazar uma versão suficientemente boa do PAF; precisamos devolver o PAF e toda a sua infraestrutura às mãos públicas o quanto antes e estar preparados para arcar com os custos de atualização
Nos tempos ruins, há 10 anos, recebíamos em CD de uma conhecida empresa de análise de crédito
Depois passamos para atualizações “automáticas” em uma instalação interna por meio de um software péssimo e cheio de bugs, mas ele parava assim que você desviava o olhar por um instante, então não foi uma grande melhoria
Hoje pagamos uma empresa completamente diferente e melhor para acessar via serviço web
Agora suponho que a velocidade com que as atualizações chegam até o site seja, em geral, pelo menos a do ciclo de lançamento do PAF
Se isso não mudou recentemente, o PAF não é produzido diretamente pela Royal Mail, mas terceirizado para uma empresa chamada AFD, na Ilha de Man
Minha única reclamação sobre o serviço atual é que o custo não compensa muito pelo valor entregue. Nosso custo total fica em média em cerca de 30 pence por consulta de endereço, e no nosso negócio há uma boa chance de esses endereços quase nunca serem usados de fato
O Eircode da Irlanda também tem essencialmente a mesma estrutura. Ele foi originalmente criado como um conjunto de dados privado e proprietário, e hoje, para usá-lo, é preciso obter uma licença de acesso
O Eircode é melhor do que um código postal no sentido de que há um para cada prédio/endereço/apartamento, mas, por não ser sequencial, até prédios vizinhos podem ter eircodes completamente diferentes
O texto destacou as dificuldades com shopping centers e prédios de apartamentos, e, pela minha experiência tentando validar em massa pares Eircode-endereço em um projeto, isso é definitivamente um problema
Um problema ainda pior é que não há como enviar alguém para conferir, porque o eircode não é algo como um número de casa afixado em algum lugar
Um endereço irlandês válido pode nem ter número algum além do eircode, sem falar no problema de que o próprio eircode é um elemento não tradicional, criado recentemente
Os National Emergency Operations Centres (NEOCs) do HSE National Ambulance Service (NAS) têm um pacote de GIS que interpreta em tempo real Eircodes e endereços tradicionais/coloquiais, associando-os a prédios reais e entradas de prédios, e é bastante impressionante
Como as rotas podem ser enviadas em tempo real para ambulâncias e outros recursos, desde 2016 houve uma grande redução nos atrasos em serviços clínicos causados por confusão de endereços
Portanto, o Estado tem capacidade para isso. O Eircode foi algo que escolhemos como país, não algo a que fomos obrigados por limitações