- Para verificar com dados de Paris a hipótese do subreddit francês de que “quanto mais perto da estação de trem, pior o kebab”, foram comparadas as notas de restaurantes de kebab com a distância a pé até a entrada ferroviária ou de metrô mais próxima
- A análise foi feita coletando a rede de caminhada e as entradas de estações com OSMnx, e obtendo com a Google Places API dados de localização e avaliação dos resultados de busca por “kebab”
- A busca por raio da Places API não funciona como um limite rígido, mas como um bias; por isso, com amostragem hexagonal em intervalos de 1 km e paginação, foram reunidos ao final 400 estabelecimentos que servem kebab
- A correlação de Pearson entre a distância a pé calculada pelo caminho mínimo no NetworkX e a nota foi de 0.091 no total, 0.098 após remover outliers por IQR, e apenas 0.001 ao excluir o metrô
- Como as avaliações do Google não refletem só o sabor e podem sofrer influência de turismo, manipulação de reviews, número de avaliações e tipo de restaurante, é difícil sustentar a hipótese apenas com os dados de Paris
Hipótese e escopo da análise
- O ponto de partida foi a hipótese compartilhada em um subreddit francês de que “quanto mais perto da estação de trem, pior o kebab”
- A postagem original teve repercussão considerável para o tamanho relativamente pequeno do subreddit, e nos comentários também apareceram experiências que discordavam da hipótese
- O alvo deste “estudo” informal foi definido como Paris, France
- Porque a hipótese original surgiu em uma postagem em francês
- Porque o centro de Paris tem muitas estações de trem, estações de metrô e lojas de kebab, o que favorece a obtenção de amostras
- Para fins da análise, assumiu-se que se trata de um fenômeno francês
Rede de caminhada e dados de entradas de estações
- A rede de caminhada de Paris foi baixada e salva com OSMnx
- Considerando o contexto de uso de transporte público, foi usado
network_type="walk" - Os dados foram projetados em EPSG:32631, UTM zone 31N
- Considerando o contexto de uso de transporte público, foi usado
- As entradas de estações foram coletadas com base em
railway=subway_entranceerailway=train_station_entrance- Incluindo não só grandes estações centrais de longa distância, mas também entradas de metrô
- Entre os resultados, foram filtradas e usadas apenas geometrias do tipo Point
- Os arquivos gerados foram salvos para conferência no QGIS
Coleta de estabelecimentos de kebab com a Google Places API
- Os dados dos restaurantes foram obtidos com a Google Places API e reviews do Google
- As avaliações do Google podem ser afetadas por bots, manipulação e fatores da experiência além da comida, mas foram consideradas uma fonte prática de dados disponível naquele momento
- A API do Yelp não foi usada por questão de custo
- A Places API não permite busca dentro de polígonos; só há busca baseada em ponto e raio
- O raio não atua como um hard cut-off rígido, e sim como bias
- Por isso, foi necessário um método de grid search para amostrar toda Paris
- O limite administrativo de Paris incluía grandes áreas verdes, como um parque a oeste e instalações esportivas a leste, onde quase não havia estabelecimentos de kebab; essas áreas foram excluídas para reduzir o custo da API
- A amostragem foi montada em uma disposição hexagonal com espaçamento vertical de 1 km
- O raio de busca foi definido como
500m * √3 ≈ 866m - Foram usados ao todo 99 pontos de amostragem
- O raio de busca foi definido como
- No início, sem paginação, foram obtidos 322 resultados; como havia estabelecimentos faltando, aplicou-se paginação e foram reunidos 400 estabelecimentos que servem kebab
- Os resultados da busca por “kebab” incluíam lugares com kebab no nome, locais classificados como Mediterranean e locais com muitas menções a kebab nas reviews
- Havia também alguns casos, como Pizza Hut, que poderiam servir apenas pizza de kebab
- Os resultados brutos da API foram recortados ao escopo do estudo, as notas e quantidades de reviews foram convertidas em números, e itens com 0 reviews foram excluídos
Cálculo da distância a pé
- O objetivo era calcular, para cada estabelecimento de kebab, a distância a pé até a entrada de estação mais próxima
- Como rotear todas as combinações entre estabelecimentos e entradas seria demorado, primeiro foram reduzidos os candidatos com um índice espacial
- Foi usado
sindexdo GeoPandas para encontrar entradas em um raio de 1 km do restaurante - Os candidatos foram ordenados pela distância em linha reta, e só os 3 mais próximos foram usados
- Foi usado
- Com o NetworkX, foi calculado o caminho mínimo na rede de caminhada
- O restaurante e a entrada foram mapeados, cada um, para o nó de rede mais próximo
- Ao comprimento do caminho também foi somada a distância entre os pontos do restaurante e da entrada e seus respectivos nós da rede
- Entre as entradas candidatas, o menor valor foi salvo como a distância daquele restaurante
- Os dados resultantes foram conferidos no QGIS e nos logs de saída, e houve confiança suficiente na precisão dos cálculos
Resultado: a correlação é muito fraca
- Nos dados completos, a correlação de Pearson entre distância e nota foi de 0.091
- Pela direção do valor, isso até poderia combinar com a hipótese de que “quanto mais perto, pior”
- Ainda assim, a correlação é tão fraca que dificilmente pode ser considerada estatisticamente significativa
- Como outliers podem afetar bastante a correlação de Pearson, alguns deles foram removidos com IQR fencing
- Depois da remoção, a correlação subiu ligeiramente para 0.098
- Considerando a possibilidade de a hipótese original não incluir o metrô, o cálculo foi refeito excluindo estações de metrô
- Nesse caso, a correlação caiu ainda mais, para 0.001
- Havia alguns casos de restaurantes com nota claramente baixa muito próximos de estações, mas a correlação geral é fraca demais para sustentar a hipótese
Limitações e possibilidades de análise futura
- As reviews do Google não são uma medida objetiva da qualidade do kebab
- Fatores da experiência de refeição, como atendimento, limpeza e ambiente ao redor, podem afetar a nota
- Também permanece a possibilidade de manipulação online e fraude em reviews
- O fator turismo também pode ter influenciado os resultados
- Clientes locais habituais podem ser mais rigorosos, e turistas podem atribuir notas de outra forma
- Não há afirmação definitiva em nenhuma direção
- Os resultados da busca do Google foram razoavelmente adequados, mas não perfeitos
- Todos os locais retornados pela consulta pareciam servir kebab de alguma forma
- Ainda assim, podem ter sido incluídos casos derivados, como pizza de kebab
- O número de reviews pode afetar a análise, mas naquele momento não havia segurança sobre como incorporá-lo adequadamente
- Os dados não foram compartilhados por possível violação dos termos de serviço do Google
- Em vez disso, foi divulgado o fluxo de código necessário para reproduzir o estudo
- Entre os comentários contrários na postagem original em francês, havia vários exemplos de bons kebabs perto de estações em Paris, e o exemplo fornecido pelo usuário que apresentou o caso em inglês pode fazer a hipótese parecer mais forte
- É possível que fatores como aluguel, salários, turismo e densidade populacional de Paris tenham tido impacto maior no resultado do que se imaginava inicialmente, deixando espaço para análises futuras
1 comentários
Opiniões no Hacker News
Olá, sou o autor do post original
Foi divertido ver este texto, escrito sob efeito de cafeína, se espalhar pela internet pouco mais de uma semana depois — primeiro no Menéame e agora até aqui —, e eu queria acrescentar algumas coisas
O texto era, na verdade, em certa medida, um meme. Eu só tinha feito um “estudo” rápido — ou, mais precisamente, uma “análise” — para o post original no r/gis, e fiquei surpreso que as pessoas tenham levado isso mais a sério do que eu esperava. Pelo visto, um bom kebab é mesmo uma questão importante
Como outras pessoas disseram, usar correlação linear para testar a “hipótese” provavelmente foi inadequado. A formulação do texto em francês que me levou a olhar para isso sugeria algo desse tipo, mas, olhando em retrospecto, é mais provável que as kebaberias dentro de um certo raio sejam, em média, piores que as demais
Além disso, acho que Paris foi um lugar bem ruim para estudar. É uma cidade onde, por acaso, há kebaberias muito boas perto de estações de trem
Acho que agora preciso começar a parte 2
O metrô de Paris substituiu originalmente uma parte considerável da rede de bondes, então sua densidade de estações é maior que a de outros sistemas de metrô. Acho que seria muito difícil encontrar uma kebaberia em Paris que não esteja a menos de 500 m de uma estação de metrô
Isso dilui o sentido do estudo. Quase nunca senti que uma estação de metrô tivesse um efeito ruim sobre a região ao redor; é mais o contrário
Teria sido muito mais interessante se ele tivesse incluído apenas as grandes estações ferroviárias de Paris. Imagino que não teria sido algoritmicamente difícil
A distância até estações que não são de metrô, por exemplo estações “de linha principal” TER como a Gare du Nord, talvez produzisse um resultado mais representativo
Vou aguardar com interesse
Em princípio, não deveria haver correlação entre localização e qualidade. Mas, como você está olhando apenas para restaurantes que ainda estão “em operação”, entra um viés
Simplificando, um restaurante pode ter uma localização boa/ruim e comida boa/ruim. Um restaurante com localização ruim e comida ruim não sobrevive por muito tempo
Ao remover esses restaurantes “ruim/ruim”, surge a impressão de uma correlação, mas isso acontece por causa do viés de colisão
Em “com um coeficiente de correlação de Pearson de impressionantes 0,091, os dados mostram que isso pode ser verdade!”, quase engasguei com meu sanduíche. Infelizmente, não era um kebab
Talvez o título deste post precise ser alterado. Metade dos principais comentários está presumindo que o estudo confirmou a hipótese
“Com um coeficiente de correlação de Pearson de impressionantes 0,091, os dados mostram que isso pode ser verdade! Isto é, se ignorarmos o fato de que a correlação é tão fraca que até chamá-la de ‘não estatisticamente significativa’ já é uma avaliação bastante generosa”
Entre 400 amostras, há 17 kebaberias com avaliação no Google abaixo de 3 estrelas; vamos chamar isso de “kebab ruim”
Todos esses “kebabs ruins” estão a menos de 500 m da estação mais próxima. Não há kebaberias ruins a mais de 500 m
Portanto, se você já comeu um döner kebab ruim, pode presumir com segurança que comprou em uma kebaberia perto de uma estação de trem
Talvez haja tanta gente comendo kebab perto das estações que até um kebab mediano seja lucrativo
Berlim tem uma quantidade enorme de kebaberias. Devem ser milhares
A maioria fica dentro dos bairros e tem moradores locais como clientes habituais. A qualidade varia de forma extrema; muitas parecem voltadas mais para o negócio de lavagem de dinheiro do que para vender comida. Aceitam só dinheiro, têm higiene ruim e atendimento indiferente
Muitas dessas não fazem nenhum sentido do ponto de vista comercial — isto é, se você excluir a lavagem de dinheiro. São fáceis de reconhecer porque parecem velhas e sujas e têm poucos clientes. Se for hora do almoço ou do jantar e não houver ninguém comendo, é melhor evitar
Por outro lado, também há lugares realmente excelentes, que usam uma churrasqueira a carvão de verdade, têm funcionários que sabem o que fazem e são simpáticos, e focam no atendimento ao cliente. Esses lugares são ótimos e geralmente têm bom custo-benefício. Alguns marinam a própria carne e também saem do padrão de vender apenas kebab comum
Se você for a Berlim, vale pedir conselhos sobre onde ir na região em que estiver. Há restaurantes de kebab incríveis, e em geral são lugares bem antigos
A terceira categoria fica em áreas de vida noturna ou com muitos viajantes, mirando pessoas que provavelmente não vão virar clientes habituais, como turistas ou bêbados. Há muita concorrência por esse público, e também existem opções boas o suficiente para as pessoas fazerem questão de voltar. Muitos lugares são bem operados e otimizam vazão e consistência, mas não necessariamente miram alta qualidade
Na minha cidade também há lugares assim, e toda vez que os vejo não entendo. Se ninguém come lá, como eles lavam dinheiro? Talvez eu seja lerdo ou ingênuo, mas não entendo como a lavagem de dinheiro acontece em um negócio em que o produto de fato não é vendido
Não foi encontrada correlação entre a proximidade de uma estação de trem e as avaliações de kebabs — ou, mais precisamente, foi encontrado o resultado de que não há correlação. É um bom estudo para aulas de estatística
Um ditado mais preciso talvez fosse: “um bom kebab pode ser vendido em qualquer lugar, mas um kebab ruim só consegue ser vendido perto de uma estação de trem”
Se você olhar para a qualidade mínima de sobrevivência em vez da qualidade geral, parece haver uma correlação linear com a distância. Usando regressão quantílica no percentil 5%, dá para encontrar facilmente a borda inferior da distribuição
Isso faz uma grande diferença. Paris tem centenas de estações de metrô, e praticamente qualquer lugar fica perto de uma estação
Acho que a intenção original era a distância até estações ferroviárias. Se Paris for parecida com Roma, perto das estações de trem há hostels baratos e moradias de imigrantes recentes
Tome x=[-5..+5], y=[25,16,9,4,1,0,1,4,9,16,25], ou seja, x². O coeficiente de correlação de Pearson R² será 0. Sabemos que y depende de x, mas não depende de forma linear
Sempre gosto de ler as avaliações do Best Kebab no TripAdvisor. Fica bem ao lado da estação de trem Queen Street, então combina com o estudo
https://www.tripadvisor.co.uk/Restaurant_Review-g186534-d125...
“Além de a comida estar malcozida, encontrei um pelo pubiano nas batatas fritas com queijo e, quando tentei avisar sobre o problema, fui perseguido com uma faca. Pela Dundas Street. Absolutamente chocante”
De forma parecida, em Veneza formulei a teoria de que dá para estimar a distância até San Marco pelo preço de uma fatia de pizza. Quanto mais cara, mais perto. Nunca verifiquei, mas seria divertido ver isso em um mapa de calor
Anedoticamente, com café é igual. Cafeterias no lobby de prédios de escritórios são invariavelmente horríveis. Os lugares bons sempre exigem pelo menos 5 a 10 minutos de caminhada
Olhando os resultados reais (https://preview.redd.it/znmnejgab5je1.png?width=1000&format=...), não se vê nem correlação positiva nem negativa. Mas, subjetivamente, posso confirmar essa hipótese
Como exceção, o Kebapland em Cologne Ehrenfeld fica à sombra da linha ferroviária principal para Aachen e acima do U-Bahn de Ehrenfeld
É de longe o melhor kebab que se encontra em Köln e a melhor refeição por euro
Não é anúncio pago; é simplesmente absurdamente gostoso
Observei o seguinte
Em um número surpreendente de regiões do mundo há pizzarias com nomes como “New York Pizza” e “Manhattan Pizza”
O quanto a pizza desses lugares se parece com as fatias finas e gordurosas vendidas em pizzarias reais de New York é inversamente proporcional à distância de New York
A New York Pizza de Boston é bem parecida. A New York Pizza de Brisbane, QLD, em comparação, é comida alienígena, e por lá parecem achar que “pepperoni” e “salami” são intercambiáveis
O autor está tentando encontrar a menor unidade publicável, mas nem esse critério ele atinge. Recomendo não publicar
Aqui há, na prática, um único fornecedor atacadista de “Halal Beef Pepperoni”, e as pizzarias locais que não são de rede parecem ter adotado isso como padrão para se adequar às sensibilidades religiosas da região
Parece comer um pano encharcado com gosto de carne, sem picância nenhuma
A “Brooklyn Slice” está abrindo agora e parece estar promovendo salami comum. Se tiver um mínimo de picância, vai mudar o jogo
Já morei na New Zealand