Word2Vec recebeu quatro avaliações de 'rejeição forte' na ICLR2013

Estimativa eficiente de representações vetoriais de palavras

• Os pesquisadores propõem duas novas arquiteturas de modelo para calcular representações vetoriais contínuas de palavras em conjuntos de dados muito grandes.
• A qualidade dessas representações é medida em tarefas de similaridade entre palavras e comparada com vários tipos de técnicas baseadas em redes neurais que antes apresentavam o melhor desempenho.
• A equipe observou uma melhora significativa de precisão com custo computacional muito menor. Ou seja, em um conjunto de dados de 1,6 bilhão de palavras, é possível derivar vetores de alta qualidade de 300 dimensões para um vocabulário de 1 milhão de palavras em menos de um dia usando uma única CPU.
• Também mostram que esses vetores oferecem desempenho de ponta em conjuntos de teste para medir vários tipos de similaridade entre palavras.
• Pretendem disponibilizar publicamente esse conjunto de teste para uso da comunidade de pesquisa.

Opiniões

• Os revisores apontaram que faltava uma motivação clara sobre como o modelo proposto difere dos modelos existentes e por que ele é superior.
• A explicação do modelo é mínima, dificultando determinar como ele difere de trabalhos anteriores.
• Os revisores enfatizaram que o artigo inclui comparações inconsistentes entre modelos treinados em diferentes conjuntos de dados e com diferentes dimensões, algo necessário para tornar os argumentos do artigo convincentes.

Opinião do GN⁺

• Este estudo propõe uma nova técnica para estimar vetores de palavras com eficiência, o que representa um avanço importante na área de processamento de linguagem natural.
• O modelo proposto pode ser treinado muito mais rapidamente do que os modelos complexos de redes neurais existentes, o que pode ser útil para pesquisas que lidam com dados linguísticos em grande escala.
• O artigo também apresenta uma nova forma de avaliar a qualidade dos vetores de palavras, que pode vir a se consolidar como padrão para medir similaridade entre palavras em pesquisas futuras.

[GN⁺]

Opiniões do Hacker News

• É possível encontrar mais detalhes sobre o word2vec na publicação de Tomas Mikolov no Facebook.

  • É interessante e significativo que até especialistas cometam erros.
  • Houve reações variadas, como pessoas como Geoff Hinton dizendo "já sabíamos disso, mas esquecemos de publicar", enquanto Ian Goodfellow demonstrou indignação no Twitter sobre o assunto.

• Acho que os revisores fizeram um bom trabalho.

  • A revisão diz respeito à qualidade do artigo, e não ao quanto ele poderá influenciar o futuro.
  • Nem todo artigo influente é realmente bom.

• O comentário do revisor f5bf é interessante.

  • Modelos mais recentes (GPT, modelos de difusão de imagem etc.) têm a capacidade de brincar com o duplo sentido das palavras.
  • Isso era considerado uma característica exclusivamente humana, mas agora faz parte da caixa de ferramentas dos modelos generativos.
  • Não está claro se a ambiguidade do word2vec contribui para essa capacidade de jogo de palavras, mas, embora possa ser uma característica útil para fins criativos, pode virar um bug quando se tenta modelar o espaço semântico como um espaço vetorial rigoroso.

• Há a opinião de que o processo de revisão não é eficaz para ideias novas.

  • Ninguém pode dedicar incontáveis horas para entender algo realmente novo.

• A versão inicial do artigo foi rejeitada, mas depois houve atualizações e esclarecimentos com base nas revisões.

  • Isso mostra como o processo de revisão deveria funcionar, e que trabalhos especialmente inovadores exigem mais explicação.

• Há quatro opiniões de "rejeição forte", mas todas parecem ter vindo ao mesmo tempo do mesmo revisor.

  • Fica a dúvida de por que apenas as notas desse revisor aparecem.

• Fico me perguntando se as pessoas que expressam opiniões fortes sobre o valor da revisão por pares realmente já participaram dela como autores, revisores ou editores.

  • Existem muitos lugares para compartilhar pesquisa ou ideias sem revisão por pares (por exemplo, arXiv/bioRxiv).

• Foi apontado que o título é enganoso.

  • As quatro "rejeições fortes" vieram de um único autor, possivelmente por causa de um erro no openreview.

• O fio de revisão parece um fio de Show HN negativo.

  • O artigo recebeu no início algumas perguntas e feedback negativo, e os autores pediram aos revisores pequenas revisões.

• Na época da universidade, alguém criou um sistema simples de correção de texto e enviou um artigo sobre isso, mas ele foi rejeitado por problemas de gramática em inglês.

  • A pessoa pediu feedback aos revisores, mas os exemplos de "antes/depois" corrigidos pelo sistema foram apontados como erros.
  • Depois de algumas tentativas, ela desistiu.