Contando todos os yurts/gers da Mongólia com machine learning
(monroeclinton.com)- Um projeto foi realizado para contar diretamente o número de yurts (gers) em toda a Mongólia usando um algoritmo de machine learning
- Um modelo YOLO foi treinado para identificar yurts com base em uma única imagem de satélite, automatizando a rotulagem de dados em larga escala
- Com servidores distribuídos, Docker Swarm e FastAPI, cerca de 120 workers processaram tiles de imagem em paralelo e consolidaram os resultados
- Ao final, foram encontrados 172.689 yurts, e esse resultado contribui para entender o crescimento urbano da Mongólia e os problemas de infraestrutura habitacional
- O projeto também oferece insights sobre os distritos de ger da Mongólia, além de seu contexto social e desafios de desenvolvimento
Contando yurts na Mongólia com machine learning – visão geral do projeto
Curiosidade sobre a sociedade mongol contemporânea
- Em vez de analisar dados para entender a história do Império Mongol e a Mongólia moderna, foi feita uma exploração ativa da visualização de satélite do Google Maps
- Ao observar fotos de satélite de Ulaanbaatar, foi identificado um vasto agrupamento de yurts que se estende por vários quilômetros, levando à decisão de contar exatamente quantos havia
Preparação dos dados e da rotulagem
- Imagens de satélite em tiles (256x256 px) foram coletadas automaticamente do Google Maps, com foco nas proximidades de Ulaanbaatar
- Os tiles foram importados para o Label Studio, e os yurts foram rotulados manualmente um a um com bounding boxes, gerando assim dados anotados (annotated data)
- Foi adotado o YOLO11 (ultralytics) como algoritmo de detecção de objetos, usando o dataset anotado para treinar o modelo
Treinamento do modelo e expansão do dataset
- Além de treinar o modelo com base no YOLO11, o nível de automação foi ampliado com um loop iterativo de feedback entre rotulagem, re-treinamento e nova rotulagem
- No início, a precisão era baixa por falta de dados, mas a taxa de detecção foi aumentada com rotulagem adicional iterativa e ampliação do número de amostras
- Em vez de usar um notebook, o treinamento do modelo foi executado em larga escala em um ambiente de container Docker, alugando recursos de GPU da vast.ai. Ao fim do treinamento, os resultados do modelo e os metadados eram enviados automaticamente para um armazenamento S3
Construção de um sistema de busca em escala nacional
Otimização do escopo da busca
- Foi calculado o número de tiles por nível de zoom com base na área total da Mongólia
- Como a densidade populacional é baixa, foram extraídos com overpass turbo pontos onde poderia haver assentamentos humanos, para excluir áreas não habitadas
- Com base em um buffer de 2 km ao redor desses pontos extraídos, o conjunto de tiles realmente inspecionados foi drasticamente reduzido
Processamento distribuído em larga escala
- Foi usado Docker Swarm para montar um cluster com 8 servidores (total de 128 vCPU)
- Separação de papéis entre servidor de API (FastAPI) e workers:
- API: gerencia as áreas de busca e os conjuntos de tiles atribuídos aos workers, além do progresso e do estado
- Workers: recebem da API as áreas de busca, detectam os yurts nos tiles com o modelo e registram os resultados na API
Consolidação dos resultados
- Cerca de 270.000 áreas de busca e milhões de imagens foram processados em paralelo
- Ao final, foram confirmados 172.689 yurts, com base em detecções com probabilidade de 40% ou mais
- O dataset foi publicado, permitindo análises sobre uso do solo, hotéis e distribuição de yurts próximos a pequenas minas
Yurts e o contexto social da Mongólia
História e transformação das áreas de ger (yurt)
- Historicamente, o yurt foi a forma tradicional de moradia dos nômades mongóis, mas seu uso mudou em várias frentes ao longo da urbanização e da industrialização
- No início do século XX, yurts também foram usados para fins públicos, como escolas temporárias, e com o fluxo populacional para grandes cidades surgiram distritos de ger em lugares como Ulaanbaatar
"No censo de 1979, 51% da população total vivia em áreas urbanas, refletindo a rápida urbanização dos anos 1970. Devido à falta de moradia e infraestrutura, os distritos de ger se expandiram para as periferias urbanas."
Urbanização e desafios de infraestrutura
- A população vinda do campo se mudava para a cidade levando seus yurts, que eram usados como habitação mesmo sem infraestrutura formal disponível
- Com a introdução, em 2002, de uma lei relacionada à propriedade da terra, avançou a formalização legal dos assentamentos dos moradores dos distritos de ger
- O governo vem promovendo políticas de reurbanização, como o Plano Diretor Ulaanbaatar 2020, mas o ritmo real de implementação tem sido lento
"Proprietários de terras nos distritos de ger vendem ou trocam seus terrenos com construtoras para a construção de novos apartamentos, mas muitas vezes o valor dos apartamentos é inferior ao da terra, ou o ritmo do desenvolvimento é lento."
Implicações e perspectivas futuras
- Isso sugere que a formalização dos distritos de ger e a provisão de infraestrutura continuam sendo desafios sociais e de políticas públicas
- O objetivo de longo prazo do governo mongol é levar aos distritos de ger moradia, água encanada, eletricidade e outras infraestruturas urbanas
- É necessário formular políticas baseadas em dados e manter acompanhamento contínuo
Perguntas adicionais para exploração
- Quais são os principais fatores por trás da urbanização e da industrialização na Mongólia e em outros países
- Qual é a diferença entre os mongóis que se estabelecem nas cidades e os que permanecem
- Quais são as dificuldades do governo no desenvolvimento dos distritos de ger
- Quais contextos explicam as diferenças na velocidade de desenvolvimento entre países
Referências
- Principais artigos, relatórios e bases de dados sobre políticas públicas, sociologia e infraestrutura
- “Distributional Effects of Ger Area Redevelopment in Ulaanbaatar, Mongolia.”
- Ulaanbaatar 2020 Master Plan and Development Approach for 2030.
- “Educational Import: Local Encounters with Global Forces in Mongolia.”
- Mongolia: A Country Study. Federal Research Division, Library of Congress.
- Poverty Mapping in Mongolia with AI-Based Ger Detection Reveals Urban Slums Persist after the COVID-19 Pandemic. arXiv.
Encerramento
- A proposta mostra como tecnologia e dados podem ser usados para observar problemas sociais, oferecendo uma nova perspectiva sobre o contexto social e os padrões de moradia
- É um caso prático de aplicação combinando várias técnicas e ferramentas open source (machine learning, Docker, FastAPI etc.)
1 comentários
Comentários do Hacker News
Quando surge a discussão sobre distritos de gers/yurts nas cidades, acho que não se deve subestimar a importância cultural da vida nômade e da cultura do ger. Nos últimos tempos, por causa das mudanças climáticas (desertificação) e de motivos econômicos, muita gente acaba abrindo mão da vida nômade contra a própria vontade e se mudando para perto de cidades como Ulaanbaatar. Em geral, fazem isso a contragosto e pensando que será algo temporário. Além do problema da falta de moradia, há também uma forte resistência psicológica a se mudar de vez para estruturas permanentes, como apartamentos, porque isso simbolizaria abandonar completamente o nomadismo. Por isso, é comum ver gers montados ao lado de construções permanentes, adicionados ao quintal da casa de parentes ou ampliados como forma de preservar a identidade cultural. Esses casos podem ser vistos nas primeiras fotos
Alguns anos atrás, atravessei a Mongólia de moto e uma coisa me surpreendeu: mesmo quem vivia em boas casas permanentes tinha obrigatoriamente um ger no quintal. Como estrangeiro, achei estranho precisar de uma segunda casa, mas quando perguntei a um morador local recebi um olhar como se a pergunta fosse absurda. O ger está simplesmente profundamente enraizado na cultura e funciona como símbolo de status, espaço para receber convidados, viver ao ar livre e várias outras finalidades
Quero comentar uma experiência que tive no palácio de Khiva, no Uzbequistão. Era claramente um palácio tradicional, com entrada e muitos cômodos ornamentados, mas em um canto de um pátio interno totalmente cercado por muros havia um espaço redondo separado, ou seja, um lugar destinado a montar um ger. Os khans da região também se orgulhavam de sua linhagem ligada a Gêngis Khan, e havia a percepção de que, mesmo vivendo dentro da cidade, passar a noite sob um teto permanente não era algo digno de um khan. Parentes visitantes também não pareciam ver isso com bons olhos
Toshhovli Palace na Wikipédia
[Foto do espaço redondo no pátio de recepção](https://en.wikipedia.org/wiki/Toshhovli_Palace#/media/File:KhivaTach_Khaouli_reception_yard_Iwan.JPG)
A Mongólia vem passando por algumas ondas recentes de invernos extremamente severos, o que provocou grandes deslocamentos das estepes e reduziu bastante os rebanhos. Por isso, a maioria está se concentrando nas cidades. Mesmo que quisessem, faltam vagas em construções permanentes
Pelo que ouvi, muita gente já deve ter pelo menos um ger, e ele é relativamente fácil de transportar quando necessário. Por exemplo, também já ouvi falar de pessoas que voltam para a casa no interior em ocasiões especiais
Em vez de enxergar a vida em ger necessariamente como um fracasso de política pública, concordo mais com a interpretação de que se trata simplesmente de uma escolha cultural. No passado, o próprio Gêngis Khan viveu em ger, e na prática algumas pessoas escolhem isso por necessidade e outras por vontade própria. Portanto, é difícil afirmar que essa realidade seja em si algo negativo
Em Ulaanbaatar existem gers padronizados. É fácil comprar peças ou gers completos em grandes mercados. Em 2017, custavam cerca de US$ 1.000 cada. Por esse valor, você consegue uma pequena casa bem isolada e fácil de transportar, e na Mongólia dá para se estabelecer praticamente em qualquer lugar fora da cidade (embora, se for com 2.000 ovelhas, seja melhor combinar o uso da pastagem com os locais). No fim, escolher um ger não tem a ver só com tradição e cultura, mas também é uma decisão racional naquele contexto
Só por etiqueta, costuma-se chamar a tenda habitacional turca de yurt, e a mongol de ger. Em tom de brincadeira, mencionam que na França também chamariam de chabadoux, no Canadá de plumbus e nos EUA de flib. E ainda acrescentam a piada de que ficam meio incomodados quando um morador local olha para o seu chabadoux e chama de ger
Fico curioso sobre que tipo de fundação ou base é feita para colocar um ger
Houve um comentário dizendo que o número de yurts com machine learning aplicado na Mongólia era zero
Acho improvável, então até suponho que haja bastante disso
No começo, entendi yurt como se fosse uma profissão ou um tipo de pessoa, então interpretei o título errado
Obrigado, foi uma experiência engraçada por sua causa
Como não nativo, fico pensando qual seria a frase mais correta. Também mencionam algo como "contei todas as yurts da Mongólia usando machine learning"
Parece um desperdício não terem usado como entrada as 89.259 yurts cujos contornos já estão marcados no OpenStreetMap (OSM). Ainda assim, provavelmente teria havido problemas para alinhar esses contornos com as imagens do Google Maps
Estatísticas da tag de ger na Mongólia no OSM
Imagino que o modelo também tenha tido dificuldade para detectar yurts na borda dos tiles. E o número pareceu surpreendentemente baixo em relação a uma população de 3 milhões
Sobre a observação de que "o número de gers é baixo para 3 milhões de pessoas": se o total contado de fato for 172.700 e assumirmos que cada um serve de moradia para uma família, com 4 pessoas por ger (provavelmente na prática até mais), isso dá cerca de 690 mil pessoas, ou 20% de uma população mongol de 3,5 milhões. Parece um número bastante plausível
Também compartilharam uma estimativa aproximada feita antes de clicar no link. Dos 3 milhões de habitantes da Mongólia, 1,5 milhão vive na capital. Supondo que cerca de 1 milhão more fora dos centros urbanos, e usando 1 ger para cada 4 pessoas, seriam 250 mil. Somando usos secundários, como receber convidados, armazenagem e instalação em quintais, chegariam a algo em torno de 300 mil, quase o dobro do resultado do app de ML
A ideia de usar OSM e afins como rótulos aparece com frequência em projetos de geografia/machine learning. Mas a licença do OSM impede adotar imagens do Google Maps, então mesmo para pesquisa há muitos problemas legais com obtenção e redistribuição dessas imagens. O Google sublicencia imagens de várias fontes externas e administra a propriedade intelectual de forma bastante rígida. O problema de alinhamento entre imagem e rótulo também é grande, e o rótulo em si pode ser coordenada GPS, não imagem. Além disso, estruturas móveis como gers inevitavelmente reduzem a completude e a consistência dos rótulos. A cobertura do OSM também depende muito da atividade da comunidade local. Ainda assim, ele pode ser útil para validação cruzada entre rótulos próprios e previsões. Em detecção por tile, normalmente se descartam previsões nas bordas e se usa janela com sobreposição e NMS para tratar duplicatas
Mesmo algo como 172 mil ainda é um número enorme, e reforça que a quantidade de gers por habitante é disparadamente maior ali do que em qualquer outro lugar do mundo
Quero enfatizar que baixar diretamente imagens de satélite do Google Maps é proibido pelos termos de uso. Na prática, é fácil ser bloqueado, então fiquei surpreso ao saber que conseguiram baixar tiles da Mongólia inteira
Fora o monopólio de mercado, não consigo entender a razão de uma política dessas
Se bloquearem a conta, basta criar outra, foi a opinião de alguém
O resultado é interessante, então fiquei curioso para saber qual foi de fato a taxa de falso positivo. Também gostaria de perguntar se tanques de armazenamento, silos ou piscinas externas foram classificados por engano como gers
Foi divertido rever esse tipo de projeto Geo/ML que eu via na época da universidade. O governo australiano também investe muito dinheiro todo ano em trabalho parecido, mas comparando com o resultado do autor do texto, dá a impressão de que o nosso governo é muito mais ineficiente. É frustrante ver a situação atual, em que não conseguem classificar corretamente nem um lote de terra, muito menos contar direito pequenos objetos em forma de ger
No resultado "detectei um total de 172.689 gers com score de previsão acima de 40%", fiquei curioso sobre como interpretar esse 'prediction score'
No começo, interpretei o título como se todas as yurts da Mongólia estivessem "usando" machine learning
Disseram que foi usada uma solução semi-comercial (gratuita para fins educacionais), e fiquei curioso sobre a topologia/arquitetura do modelo de deep learning. Também gostaria de saber se existe uma abordagem melhor