Quem anseia por certezas anseia por mentiras

• Os gráficos de frequência de palavras do Google Ngram Viewer podem distorcer as mudanças no uso do inglês no século 20 devido aos dados do Google Books e a falhas na fórmula; até palavras comuns como said e toast parecem desaparecer nos anos 1970–1980 e depois ressurgir
• O corpus do Google Books tem grande peso de materiais coletados por universidades, além de periódicos científicos e acadêmicos modernos e livros didáticos, o que pode inflar a frequência de algumas palavras e reduzir relativamente a frequência de outras palavras
• Por causa do long s (ſ) em impressos antigos, variações ortográficas, plurais e datas incorretas, o Ngram não consegue distinguir corretamente casos como fuck e suck, authorise e authorize, ou dog e dogs
• As explicações etimológicas do Etymonline se baseiam em materiais impressos e trabalho humano, mas o Ngram é mais próximo de um recurso visual decorativo, sendo difícil confiar nele quando entra em conflito com explicações etimológicas
• Na internet, imagens são escolhidas mais facilmente do que texto, mas os gráficos do Ngram devem ser tratados não como prova definitiva do uso de palavras, e sim como uma visualização de dados imperfeita

---

As estranhas frequências de palavras criadas pelo Google Ngram

• No Google Ngram Viewer, a frequência de said se parece menos com uma mudança real dos verbos em inglês no século 20 e mais com um gráfico de temperatura da última era glacial, cheio de oscilações
  • Não foi que autores em inglês dos anos 1970 de repente deixaram de usar said e depois voltaram a usá-lo
• toast também aparece no Ngram como se tivesse quase desaparecido do inglês por volta de 1980 e depois reaparecido
  • Isso é comparado à “grande escassez de torradas de 1977”
• Um dos eixos do problema está em uma falha há muito conhecida na fórmula do Ngram herdada do Google Books
  • Esse erro faz muitas palavras em inglês parecerem cair ao longo de todo o século 20 e depois ressurgir por volta de 1980
• O corpus do Google Books contém muitos impressos absorvidos de universidades, e o peso de periódicos científicos e acadêmicos modernos e de livros didáticos também é desproporcionalmente grande
  • Textos acadêmicos tendem a repetir algumas mesmas palavras
  • Como resultado, a pontuação de algumas palavras é inflada, enquanto outras ficam relativamente mais baixas
  • Essa estrutura atua como causa do mergulho de meados do século 20 nos Ngrams de quase todas as palavras
• said provavelmente é usado menos em textos acadêmicos do que em romances ou jornais, mas uma palavra como graph é usada com muito mais frequência em textos acadêmicos
  • O mesmo mergulho não aparece no Ngram de graph no século 20

Distorções causadas por OCR, ortografia e erros de data

• No Ngram, o palavrão começado com F aparece como quase não usado antes da era moderna, mas com uso disparando quanto mais se recua para antes de 1820
  • Muitos desses casos não são realmente fuck, mas o antigo suck
  • O long s (ſ) dos impressos antigos pode parecer um f minúsculo em fontes envelhecidas e papel barato
  • Esse caractere começou a cair em desuso por volta de 1820, e às vezes só o contexto distingue f de s
  • Considera-se que a IA não sabe perceber essa diferença
• O Google Books não reconhece bem a equivalência entre variações ortográficas
  • O Ngram de authorise é diferente do de authorize, e nenhum dos dois inclui authorizes
  • Mesmo em Ngrams de substantivos, plurais não são contados, então dog e dogs são tratados separadamente
• Também há muitos arquivos do Google Books com datas incorretas
  • O 1896 na capa de um livro antigo de biblioteca pode parecer 1800 para um scanner digital
  • Houve um caso em que uma coleção de folhetos bíblicos da década de 1910 apareceu por algum tempo como uma publicação de 1799
  • Essa data não era a data de publicação, mas o ano de fundação incluído no logotipo da sociedade que imprimia os folhetos bíblicos
  • Há também um vídeo que trata de problemas relacionados
• O texto do Etymonline é criado inteiramente a partir de materiais impressos e trabalho humano, mas o Ngram não é
  • O Ngram é avaliado como um produto grosseiro de uma tecnologia ignorante e pouco confiável
  • O site inclui Ngram porque, no ambiente online, imagens vencem e textos perdem
• O correto é ver o Ngram mais como um visual decorativo e de distração do que aceitá-lo como prova definitiva do uso de palavras
  • A posição é que, se a explicação etimológica do Etymonline e o Ngram entram em conflito desde o início, o Etymonline está certo e o Ngram está errado

[GN⁺]

Opiniões no Hacker News

• Acho que a melhor parte deste texto é a crítica aos n-grams e, de forma mais ampla, a crítica ao modo como n-grams são amplamente usados em algoritmos modernos.
  O trecho que diz que o Etymonline é baseado em fontes impressas e textos produzidos por pessoas, enquanto os n-grams são o produto grosseiro de uma tecnologia ignorante que nem aprendeu a diferença entre “influence” e “inform”, é especialmente incisivo.
  Lê-se como uma refutação mordaz de algoritmos e redes sociais que tentam quantificar a fala e a interação humanas, errando na maior parte das vezes, ao mesmo tempo em que buscam maximizar os interesses de seus proprietários.
  Isso pesa ainda mais numa época em que ouvimos dizer que IA generativa é, na prática, um preditor de n-grams.

  • A parte que diz “o Etymonline é inteiramente composto de fontes impressas e textos feitos por humanos, e o Ngrams não” é um pouco confusa.
    Se “fontes impressas” significa que não inclui fontes digitais, isso não parece ter muita relação com o problema mencionado no texto.
    Se ele não inclui completamente todo material impresso, pode surgir o mesmo problema de conjunto de dados enviesado, e pessoas também podem cometer erros, como OCR.
  • “Ser influenciado” e “ser informado” parecem dois lados da mesma moeda moral.
    É como dizer que os pensamentos dos outros não pertencem a eles, enquanto afirmamos que nós mesmos somos receptores virtuosos de informação, capazes de chegar às nossas próprias conclusões.
    O filtro passa-baixa da mente só aceita aquilo que se encaixa nos esquemas existentes.
    Se você não rejeita algo, então ser informado por aquilo e ser influenciado por aquilo são a mesma coisa; nesse contexto, alguém que diz “eu só fui informado” parece arrogante e com pouca autoconsciência.
  • O conhecimento de mais alto nível ainda está em material impresso e ainda é produzido por pessoas.
    A mídia eletrônica é como uma alma que devora: não produz, apenas consome.

• A piada em um dos comentários daquela página — “será que as editoras ainda encomendam caminhões e mais caminhões de ‘is’ a cada degelo da primavera...” — faz sentido em Dictionopolis.
  Alguém aí gosta de The Phantom Tollbooth?
  https://en.wikipedia.org/wiki/The_Phantom_Tollbooth

• O problema fundamental da análise de dados é que a qualidade da análise só é tão boa quanto a qualidade dos dados.
  Começar avaliando a qualidade dos dados já é difícil; saber como determinar se os dados são bons, se podemos ter certeza disso, e como medir e relatar isso, também não é simples.
  Mesmo que haja avaliações qualitativas e quantitativas da qualidade dos dados, surge outro problema: como apresentá-las integradas aos resultados da análise.
  Para ajustar quantitativamente os resultados de acordo com a qualidade dos dados, seria necessário um trabalho considerável de customização em cada projeto, indo além de um simples gráfico de linhas.
  No caso do Google Ngrams, talvez fosse possível mostrar em um gráfico a composição das fontes de dados ao longo do tempo, dividida em categorias amplas como “acadêmico” e “notícias”, mas seria preciso categorizar todos os documentos e também colocar links e textos explicativos em lugares visíveis para que as pessoas de fato os vissem.
  Ainda assim, isso não impediria a reação intuitiva que uma pessoa tem ao ver uma série temporal em que o uso de uma palavra está diminuindo.
  Uma abordagem melhor talvez fosse quantificar a incerteza da série temporal de uso das palavras e sobrepô-la ao gráfico.
  Mas, aqui, a contagem de usos em si é precisa, e a incerteza vem da amostragem, então seria preciso estimar o quanto todos os documentos escritos naquele momento diferem dos documentos da amostra.
  Isso pode ser possível, mas não parece fácil; e, mesmo assim, ainda haveria a questão de saber se as pessoas interpretariam corretamente a indicação de incerteza ou se simplesmente veriam a linha descendente e ignorariam o resto.
  À medida que entramos na era da IA, precisamos lembrar desse problema.
  O mesmo vale para nossa vida: aprendemos e formamos opiniões a partir dos dados que observamos, mas a qualidade dos dados que vimos e a validade das nossas conclusões estão sempre em questão.

• Os autores afirmam categoricamente que as estatísticas de ngram para “said” estão erradas e falam como se houvesse evidências contrárias, mas não apresentam nenhuma evidência real
  No próprio site, eles também só oferecem as estatísticas do Google ngram: https://www.etymonline.com/word/said#etymonline_v_25922
  Somando isso à grande falha de não mostrar o 0 no eixo y do gráfico e a uma interpretação incorreta do gráfico, fica impossível confiar; parece um texto de qualidade muito baixa

  • O uso de “said” caiu pela metade em 60 anos e, depois, voltou ao nível anterior em 20 anos? É preciso mostrar evidências de que o inglês mudou tão rápido assim, desse jeito
    Uma afirmação dessas é extraordinária, então precisa de fundamentos convincentes
    Se não houver fundamentos, vou acreditar na hipótese e na conclusão do texto de que os ngrams são uma porcaria
    É verdade que o gráfico de “toast” foi mal interpretado, e deveriam ter lido com mais cuidado aquele gráfico péssimo, cortado a partir de um ponto baixo
  • O motivo de ser difícil apresentar evidências é que, na prática, há uma única fonte
    Por isso, o texto basicamente aponta falhas na metodologia do Google Books/Ngram
    Acho essa abordagem válida
    Caso contrário, acabamos aceitando algo defeituoso só porque existe e é fácil de usar
    Não é preciso fazer um estudo separado para descobrir a verdade toda vez que alguém disser “X foi o mais tuitado, portanto é o mais popular e importante”
    Basta responder: “essa metodologia é idiota, então não aceite isso só porque o Twitter diz”
  • O que se quer, provavelmente, é que alguém examine fontes como jornais para verificar como a proporção de frequência de “said” mudou ao longo do tempo
    É uma exigência razoável, mas também acho aceitável que o autor, como especialista, diga que os jornais continuaram usando said com frequência semelhante
    A explicação é plausível, e não vejo necessariamente que o ônus da prova recaia sobre o autor
  • O lado que precisa de evidência não é o de que “said” caiu e voltou a subir como no gráfico
    Pelo contrário: quem precisa de evidência é a afirmação extraordinária de que ele mudou desse jeito
    Essa afirmação vem do Google, e antes de culpar o autor do blog é preciso ver quão representativo é o conjunto de dados invisível
    Devemos aceitar estatísticas cujo conjunto de dados de entrada desconhecemos na base de “confie no Google”?
  • O EtymOnline não é um lugar para acompanhar mudanças na popularidade de palavras, e sim para tentar acompanhar mudanças de significado
    Por isso é compreensível que não haja uma evidência contrária específica no verbete de “said”
    O motivo de o texto principal não ter evidências também é que a ideia de que “said” caiu para quase um terço do pico é uma afirmação muito mais extraordinária, exigindo evidências fortes
    Basta dizer que “à primeira vista isso não faz sentido nenhum, e é provável que se deva a uma grande mudança na composição de gêneros do conjunto de dados do Google”

• O gráfico do Ngram não diz que toast quase desapareceu do inglês por volta de 1980 e depois reapareceu
  Ele apenas parece mostrar que, desde 1800, o uso caiu cerca de 40%
  Como outros disseram, o problema de o eixo y não começar em 0 claramente existe
  Mas, se os autores do etymonline não perceberam isso e fizeram uma declaração errada, fica difícil acreditar neles; é especialmente irônico porque o exemplo posterior de “vejam, não há queda” tem eixo y em 0 e também mostra uma pequena estagnação por volta de 1980
  Mais ainda considerando o título exagerado e agressivo e a primeira frase

  • O problema não é só o eixo do gráfico
    O uso de “toast” não caiu 40%; o conjunto de dados do Google é que mudou abruptamente para uma composição de gêneros muito diferente da anterior
    Já conversei com pessoas tentando explicar a queda dos anos 1970, e ninguém, inclusive eu, percebeu que aquilo era uma falha dramática dos dados

• Acho que o título não combina bem com este texto
  Esse tipo de resultado está mais próximo de um desejo por clickbait, ou de sua versão científica, do que de “clareza”
  Por exemplo, artigos na Science ou na Nature não têm uma probabilidade especialmente alta de estarem corretos, mas tendem a ser chamativos e radicais, sobretudo em áreas como física que não são o campo central delas
  Por outro lado, o nome “Real Clear Politics” sempre me soou venenoso
  Porque acho que na política não existe nem “Real” nem “Clear”
  Para mim, o melhor livro sobre política é Fear and Loathing on the Campaign Trail ‘72, de Hunter S. Thompson
  É um relato pessoal de experiência que acompanha os candidatos, pega carona com desconhecidos às 3 da manhã e, mesmo depois de ficar chapado em um trem, tem momentos de lucidez afiada, como a compreensão dos procedimentos parlamentares que levaram à indicação de McGovern
  Daqui a 20 anos, sairá um livro minucioso, com argumentos fortes, mostrando que tudo em que acreditávamos sobre os eventos políticos de hoje estava errado e que, na verdade, outra coisa aconteceu
  Nesse meio-tempo, as pessoas terão perspectivas extremamente diferentes, e isso é a realidade
  Adjetivos como “real” e “clear” são tentativas de fechar a maioria dessas perspectivas e privilegiar apenas uma
  Também me lembra como Baudrillard desconstruiu minuciosamente a palavra “real” em Simulacra and Simulation
  Isso torna compreensível que pessoas vendendo falsificações coloquem a palavra “real” em primeiro plano
  A Cientologia se chamar de “ciência da certeza” segue a mesma lógica

  • Esse livro que sairá daqui a 20 anos também estará errado
    Uma coisa boa da política é que as motivações são muito claras
    Políticos querem, antes de tudo, manter o poder, e o desejo de melhorar a situação vem depois
    Quando você entende isso, tudo passa a fazer sentido
    Mesmo que nunca se saiba o que realmente aconteceu

• Nunca é possível criar uma imagem representativa do passado
  É preciso trabalhar apenas com as fontes limitadas que sobreviveram, e elas não estão distribuídas de modo uniforme no tempo e no espaço
  Quando uma pessoa morre, há uma perda de dados essencial: impressões, experiências não registradas e até cheiros familiares desaparecem
  A memória de uma pessoa viva também pode se tornar pouco confiável em algum momento

  • Por isso sempre achei estranho que só pessoas com representatividade social distorcida pela fama ou pela riqueza acabem tendo biografias na Wikipedia
  • Não é só em algum momento; a memória humana é incrivelmente pouco confiável
    Um exemplo que você pode testar diretamente: https://youtu.be/vJG698U2Mvo?si=16fwk8wG8Yyhim5t

• É difícil dizer que o Google Ngram esteja errado
  Ele relata estatísticas sobre palavras identificadas corretamente no corpus
  O problema é o contexto dessas estatísticas
  Dá para dizer com certa confiança que “o uso de said no corpus do Google Books diminuiu em determinado momento”
  Dá para dizer isso com mais confiança no subconjunto do corpus em que o OCR identificou corretamente todas as ocorrências dessa palavra
  Mas, sem dados suficientes, não se deve fazer a afirmação mais ampla de que “o uso desta palavra diminuiu em determinado momento”

  • Se o meme dos economistas é “depende”, o meme transcendental dos estatísticos é precisamos de mais dados
    Até resolvermos a teoria da grande unificação, não podemos ter certeza completa sobre a integridade dos dados nem sobre a inferência estatística
    O errado é induzir o público a se afastar desse entendimento
  • Por isso, ao produzir estatísticas inferenciais sobre uma população, a metodologia de amostragem é muito mais importante que o tamanho da amostra
    Amostrar 1 milhão de livros de um corpus acadêmico e escolher 10 best-sellers de cada década do século XX gera corpora linguísticos muito diferentes

• É o erro clássico de não incluir 0 no eixo vertical do gráfico
  Se você pensa “mas aí a mudança quase não aparece”, está certo
  Ao remover o 0, é possível fazer pequenas mudanças parecerem grandes

  • Por outro lado, há casos em que é preciso enfatizar pequenas mudanças
    Se fosse uma carta de controle mostrando o peso de enchimento de caixas de cereal, você provavelmente não iria querer colocar 0 no gráfico
    Também não há necessidade de plotar a temperatura diária de uma cidade em um gráfico que vá até 0 kelvin
  • Sou o único que acha que o gráfico em si está ok e que o texto só exagerou um pouco?
    Ele parece estável por quase um século e então cai de repente cerca de 50%
  • Incluir 0 teria ajudado no gráfico de “said”, mas não resolveria o problema
    Ainda pareceria que “said” caiu para quase um terço da popularidade anterior, quando na verdade a composição da amostra mudou bastante

• Isso quer dizer que o n-gram está errado, ou que o que se pode dizer com n-gram é limitado?
  Os dados são interessantes, mas não tenho certeza do que concluir
  Parece estranho, porque acaba sendo uma consulta a livros antigos com o vocabulário de hoje
  Um exemplo simples que conheço: ao pesquisar “þe”, não aparecem muitos resultados
  Em termos históricos, está mais ou menos correto no sentido de que “þ” desapareceu por volta dos anos 1400
  Mas, se incluir “ye” junto, aparece uma quantidade enorme de usos
  Essa é a funcionalidade pretendida do n-gram?
  Parece mais um erro de codificação transmitido ao longo dos séculos
  É parecido com ficar irritado com a Grande Mudança Vocálica sem perceber que nossos símbolos fonéticos não são uma verdade universal fixa