Métodos de avaliação para criar um algoritmo de busca mais inteligente

• Como a Shopify avaliou se os resultados de busca realmente melhoraram ao trocar o algoritmo usado na pesquisa de produtos

→ Vanilla PageRank anterior: cálculo do ranking com base em PV oriundos de buscas

→ Novo Query-specific PageRank: cálculo dos pesos com base no histórico de cliques para o termo pesquisado

• Avaliação em 3 etapas

1. Coleta de dados: eventos do Kafka e conjunto de dados anotado

2. Avaliação de métricas offline: avaliar o novo algoritmo com consultas de busca existentes

→ Mean Average Precision (MAP): aplica penalidade quando documentos irrelevantes aparecem entre os N principais resultados retornados pela consulta

→ Normalized Discounted Cumulative Gain (NDCG): calcula a pontuação de corte para o MAP e aplica penalidade quando itens com boa pontuação (Great/Good) aparecem em posições mais baixas

3. Avaliação de métricas online: usar logs de busca para avaliar como a busca realmente funciona

→ Métricas que determinam o sucesso: com que frequência os usuários pesquisam, quanto eles rolam a tela para encontrar o resultado desejado e se entram em contato com o suporte para resolver o problema etc.

→ Click-through rate (CTR): taxa de cliques nos resultados de busca. Quanto maior, melhor

→ Average rank: posição média do resultado clicado. Quanto menor, melhor

→ Abandonment: taxa de desistência por não encontrar o resultado desejado; claro que também há influência de bots/spam etc., mas idealmente deve ser moderadamente baixa

→ Coleta feita com Kafka

→ Execução de teste A/B com o método anterior

• Como resultado, o novo algoritmo de busca superou o método anterior e foi adotado em substituição

• Pontos-chave

→ Um conjunto de dados rotulado, confiável e de alta qualidade é o núcleo da avaliação

→ As métricas online oferecem excelentes insights sobre o comportamento do usuário

→ As métricas offline ajudam a iterar e testar rapidamente novos algoritmos, reduzindo riscos