Rastreamento de preços de alimentos na Áustria por meio de scraping
(mastodon.gamedev.place)- Em meio ao aumento da pressão dos preços de alimentos e energia na Áustria, Mario Zechner criou por conta própria uma plataforma de rastreamento de preços baseada nas lojas online das grandes redes, motivado pelo anúncio de um banco de dados de preços limitado por parte do governo
- O primeiro protótipo foi feito em 2 horas para cobrir todos os produtos de duas grandes redes e, depois disso, ganhou dados de lojas da Alemanha e da Eslovênia, além de normalização de categorias, correspondência de produtos semelhantes e ferramentas de análise
- Com a adição de dados fornecidos anonimamente e coletados desde 2017, tornou-se possível verificar inclusive o histórico de um padrão em que os preços de produtos de marca própria de duas grandes redes coincidem até nos centavos
- Nos dados históricos de preços, apareceram casos em que os preços foram alinhados no mesmo dia ou com diferença de 1 a 2 dias, além de shrinkflation e exemplos do mesmo produto custando até 40% mais caro do que na Alemanha
- Como o mercado austríaco de alimentos tem uma proporção alta de itens em promoção, cerca de 40%, mesmo quando há anúncio de redução no preço de tabela, a estrutura de promoções cíclicas pode acabar elevando o valor médio efetivamente pago
O anúncio do banco de dados de preços do governo e o início de um projeto pessoal
- A Áustria tem inflação acima da média da UE, com pressão especialmente forte em itens básicos como energia e alimentos
- Em maio, o governo anunciou que criaria um banco de dados de preços de alimentos junto com grandes redes de supermercados
- O ministro responsável afirmou que a escala do trabalho era grande e que isso levaria até o outono
- O escopo cobriria apenas 16 categorias de produtos, como farinha e leite
- A atualização estava prevista para acontecer uma vez por semana
- Ao ouvir isso, Mario Zechner criou em 2 horas um protótipo cobrindo todos os produtos de duas grandes redes
- A plataforma funciona rastreando as lojas online das redes
- A maioria das lojas tem API
- Os dados coletados são normalizados para permitir comparação entre lojas
- Depois, são disponibilizados em um formato aberto à publicação e à análise
Expansão da plataforma e dados de preços desde 2017
- Depois da plataforma inicial, também foram adicionados dados de lojas da Alemanha e da Eslovênia
- Foram aplicadas técnicas leves de ciência de dados para normalizar categorias de produtos diferentes entre lojas e para relacionar itens iguais ou semelhantes
- Um usuário anônimo do Twitter forneceu dados coletados desde 2017 em duas grandes redes
- Zechner integrou esses dados à plataforma e adicionou ferramentas de análise
- Na análise inicial, os resultados indicaram aumentos de preço grandes mesmo considerando a alta dos custos de energia
Coincidência de preços entre redes e mudanças simultâneas de preço
- Antes da construção da plataforma, a primeira análise comparava manualmente os produtos mais baratos vendidos pelas duas grandes redes
- Os exemplos incluíam itens como leite ou farinha de marca própria da loja
- Os preços de 40 pares de produtos coincidiam exatamente até os centavos
- Uma ONG viu isso no Twitter e repetiu a mesma análise com 600 pares de produtos, encontrando o mesmo padrão
- Com a integração dos dados históricos, passou a ser possível comparar o momento das mudanças de preço do mesmo produto nas duas redes
- Nos produtos baratos de marca própria, surgiram casos em que os preços mudavam no mesmo dia nas duas redes, ou com diferença de 1 a 2 dias, chegando ao mesmo valor
- Esse padrão também foi observado não só nas marcas próprias mais baratas, mas também em produtos de marca própria de faixa intermediária
- Zechner vê a possibilidade de conluio tácito (tacit collusion), em que preços de um oligopólio se alinham sem coordenação explícita
- Segundo ele, outras plataformas semelhantes também observaram o mesmo padrão
- Ele afirma que esse padrão apareceu a partir do período em que a inflação subiu fortemente
Shrinkflation e diferenças de preço entre países
- A análise da plataforma também identificou casos de shrinkflation
- Isso significa que a quantidade do produto diminuiu, mas o preço permaneceu igual ou até mais alto
- Um detergente para lavar roupa foi citado como exemplo
- Também apareceram casos em que o mesmo produto era vendido na Alemanha por até 40% menos
- A Alemanha é apresentada como um país com renda média e custo de vida mais altos
- Há casos em que produtos fabricados apenas na Áustria também saem mais baratos fora do país
- Billa é mencionada como a versão austríaca da REWEDE
- Até a marca austríaca Red Bull aparece em casos em que o preço promocional na Áustria é mais alto do que o preço normal na Alemanha
A estrutura de promoções e o efeito real das “reduções de preço”
- No mercado austríaco de alimentos, a proporção de itens em promoção é especialmente alta
- Em mercados competitivos de alimentos, em geral cerca de 10% a 20% dos produtos estão em promoção, em média
- Na Áustria, essa proporção seria de 40%
- As promoções dificultam que o consumidor saiba qual é o preço realmente pago
- O consumidor muitas vezes só consegue saber o preço após ir à loja e ver as promoções do dia
- As redes também enviam folhetos promocionais pelo correio e usam um sistema de juntar adesivos para colar nos produtos no caixa
- Os apps também são mencionados como meio de obter informações dos usuários
- Após a repercussão negativa, redes de supermercados passaram a exibir avisos nas lojas dizendo que “já reduziram o preço de 450 produtos neste ano”
- O número total de produtos é apresentado como cerca de 22.000
- A rede em questão também forneceu a lista dos produtos com preço reduzido em um PDF legível por máquina
- Zechner fez a correspondência entre os produtos do PDF e seu próprio banco de dados
- Superficialmente, a alegação de redução de preços foi confirmada
- No entanto, alguns produtos faziam parte de um padrão cíclico de preços que se repetia havia anos e não representavam redução permanente
- Casos ainda mais sutis também apareceram
- Houve produtos em que o preço de tabela foi reduzido, mas o preço promocional aplicado periodicamente aumentou
- Assim, mesmo que a redução do preço de tabela seja real, se o consumidor compra o mesmo produto toda semana, o valor médio pago pode acabar sendo maior do que antes por causa do aumento do preço promocional
1 comentários
Comentários do Hacker News
Já morei na Áustria e na Alemanha, e é 100% verdade que os preços dos supermercados na Áustria são muito mais caros; o mesmo vale para produtos austríacos.
O motivo é que os alemães são extremamente sensíveis a preço e estão sempre comparando, enquanto os austríacos, em média, se importam menos, e os supermercados se aproveitam disso. A Áustria tem densidade populacional baixa e muitas lojas em áreas de difícil acesso, como regiões montanhosas, então os custos logísticos são mais altos; o IVA também é um pouco maior, e os salários de mão de obra não qualificada em supermercados e logística são um pouco mais altos que na Alemanha.
Além disso, na Áustria, até lojas da mesma empresa costumam parecer melhores que na Alemanha, com prateleiras mais arrumadas e filas menores, o que aumenta os custos operacionais. No fim, se os consumidores dessem tanta importância a preço quanto os alemães e ligassem menos para a aparência, os preços teriam caído; e, se começassem a andar um pouco mais para procurar supermercados mais baratos, os preços também poderiam cair.
Na Áustria, o transporte público e o uso de bicicletas são muito melhores, então as pessoas acabam não fazendo um desvio de propósito só para passar no mercado mais barato. Nas regiões austríacas onde se usa carro, a densidade populacional é baixa demais, então também não há tanta concorrência entre supermercados.
Parte disso se deve ao IVA mais alto na Holanda, mas acho que a maior parte vem do fato de os holandeses simplesmente aceitarem pagar preços mais altos que os alemães.
Como desenvolvedor austríaco e consumidor, acompanhei esse problema de perto durante todo este ano, e é muito frustrante ver que estamos sendo explorados sem nenhuma justificativa válida, mas nada muda e ninguém se importa.
É realmente impressionante que Mario continue insistindo nesse tema e ainda não tenha se cansado dessa loucura irritante.
Para impedir que empresas se comportem mal, é preciso haver um adulto na sala. Parte-se da premissa de que, se não forem vigiadas, empresas se comportam mal; isso é mais uma hipótese a ser testada do que uma afirmação definitiva.
No mínimo, quando não há consequências, empresas se comportam pior; por isso, antes elas não tinham uma “boa razão” para aumentar preços, mas agora a inflação virou uma cobertura para reajustes.
Projetos desse tipo com dados de índices parecem ter muito potencial como área, especialmente agora que sistemas de inteligência artificial e aprendizado de máquina facilitam observar mudanças e tendências. A questão é como obter conclusões e observações claras o bastante para gerar indignação social-científica suficiente para as pessoas agirem.
Ou talvez simplesmente aceitemos que empresas usem essa tecnologia para otimizar tudo contra os consumidores e não a usemos em uma resistência estilo white-hat contra isso.
Dito isso, se você dá 500 euros a mais por ano para todo mundo como Klima bonus, não sei o que as pessoas esperavam. Não entendo como isso reduziria a inflação, e parece que as redes de supermercados estão se aproveitando disso.
Seja o preço alto ou baixo, o motivo é sempre o mesmo: aquele preço rende mais dinheiro.
Essas empresas reagem de forma extremamente sensível quando algo começa a afetar seus lucros. Talvez nem fosse Bournvita, mas algum aditivo parecido para leite voltado a crianças.
Se for parecido com o Reino Unido, há tanta shrinkflation que, para comparar preços, será necessário usar preço por grama. É a prática de reduzir o tamanho do produto e trocar ingredientes por versões mais baratas: por fora, a embalagem parece a mesma, mas aumenta o espaço de ar na embalagem da barra de chocolate, surge um vão de 1 cm sob a tampa do cone de sorvete, o fundo do pote de manteiga fica côncavo, e as laterais da embalagem que antes eram retas agora ficam afuniladas.
Esses “truques” já existiam antes, mas estão sendo usados cada vez mais. Todos os supermercados têm uma base de dados completa do estoque, então poderiam enviar uma lista de preços atualizada de todos os produtos a cada 5 minutos praticamente sem custo. O legislador não busca, ou parece não ter intenção de buscar, aconselhamento especializado, mas ainda assim é um começo.
O problema é que, quando os supermercados levam as pessoas a usar cartões de “fidelidade”, conseguem transformar tudo em “preço promocional” e, com isso, evitar a exigência de exibir o preço unitário. Eles mostram apenas o £/KG do preço original mais alto, então o consumidor não consegue comparar facilmente.
Dá para evitar isso comprando no Aldi ou Lidl, mas eu não ficaria surpreso se eles também cedessem em breve à tentação dos preços exclusivos para cartão de fidelidade. Claro, eles também já praticaram shrinkflation.
Ex.: https://www.tesco.com/groceries/en-GB/products/296117381 — “£3.00 / £10.71/kg”, mas o preço com Clubcard é £2.00
Como austríaco, acho ótimo um projeto de comparação de preços, mas o elefante na sala é que os preços dos supermercados alemães são 20% a 40% mais baixos para os mesmos produtos.
As explicações das redes de supermercados são, na melhor das hipóteses, suspeitas. Coisas como haver mais lojas per capita do que na Alemanha, ou terem de comprar de distribuidores austríacos mais caros. Também já ouvi uma história parecida sobre a Bélgica ser mais cara que a França.
Para mudar a situação, é necessária uma comparação de preços em toda a Europa.
Empresas pequenas nem têm espaço para inovar em áreas como liberdade de escolha de produtos ou horário de funcionamento, então fica difícil até entrar no mercado.
Quando você coleta preços de serviços e produtos online, aparecem muitas coisas interessantes, e geralmente são truques para prejudicar o cliente.
Acho que já passou da hora de a UE legislar para que as empresas forneçam dados de preços por meio de APIs padronizadas. Assim todo mundo ganha e esse tipo de truque pode ser coibido.
Na prática, criei um scraper de pacotes de férias para o Disney World e também descobri uma forma de encontrar ofertas mais baratas comprando ingressos de hotel separadamente para apenas parte do período total da hospedagem. Um dia pretendo transformar isso em um índice de inflação de férias.
1 - https://mousetrack.co.uk
Foi um texto realmente interessante. É muito cansativo avaliar preços de alimentos e ajustar as compras para otimizar tempo e dinheiro, mas um dataset em grande escala como esse poderia facilitar muito.
Fico curioso se existe uma análise de preços semelhante para os EUA.
É claro que as margens de lucro variam por item dentro da loja, mas quase todos os alimentos não preparados e com prazo de validade ficam entre as margens mais baixas.
Winco, Aldi e Lidl também são redes de alimentos conhecidas por margens extremamente baixas.
Não sei como são outros servidores Mastodon, mas este servidor está anos-luz à frente do Twitter em termos de facilidade de leitura.
Espero que um dia alguém escreva um livro expondo exatamente o que há de errado com aquela empresa e sua abordagem de design de produto.
A primeira tem mais recursos, mas o segundo é mais orientado por missão.
Também existe a “visualização avançada” em múltiplos painéis, que dizem ser parecida com o Tweetdeck.
Algumas pessoas preferem o modo escuro, mas em dispositivos de tinta eletrônica a leitura fica realmente horrível. Como não dá para mudar o tema sem fazer login em uma instância específica, deixei uma issue relacionada aberta.
É uma excelente thread e mostra o poder de cidadãos inteligentes e tecnicamente capazes.
Meu palpite é que nada vai acontecer. A agência reguladora do governo que deveria fiscalizar isso provavelmente vai concluir que não há problema. Na minha visão, eles já foram comprados para, depois de terminarem na política, virarem lobistas ou “consultores” desses varejistas.
Cerca de seis anos atrás, as três maiores operadoras de telecomunicações da Áustria aumentaram os preços juntas exatamente ao mesmo tempo, e o órgão governamental responsável encerrou o caso dizendo que não havia prova de que as três empresas tivessem conspirado para formar um cartel de preços e que poderia ter sido coincidência.
Este país é tão corrupto que está podre até a raiz. Como consumidor e contribuinte, estou sendo legalmente explorado por todos os lados com a bênção do governo, e imagino que algo parecido aconteça em muitos outros países.
Como austríaco, enviei este link para alguns jornalistas e amigos. Fico curioso sobre como transformar isso em uma ação viável para fazer a política se mexer e também ajudar os consumidores.