O que você acha das Community Notes?
(archive.md)- Community Notes é uma ferramenta de fact-checking que adiciona contexto a tweets para corrigir desinformação, introduzida pela primeira vez em janeiro de 2021 como um piloto chamado Birdwatch e expandida gradualmente desde então
- Em vez de depender de um grupo de especialistas, qualquer pessoa pode escrever e votar, e quais notas serão exibidas é decidido inteiramente por um algoritmo open source
- O ponto central não é uma média simples, mas priorizar notas avaliadas positivamente ao mesmo tempo por usuários com perspectivas diversas, de modo que notas consensuais entre campos diferentes recebem pontuação mais alta
- O eixo político entre esquerda e direita não é hardcoded; ele é descoberto de forma emergente a partir da análise de usuários e notas, e é possível baixar os dados e o código para verificar os resultados diretamente
- O objetivo não é corrigir todos os tweets falsos, mas servir como uma ferramenta educativa que lembra a existência de múltiplos pontos de vista, aproximando-se do ideal de "neutralidade crível (credible neutrality)"
Contexto: um recurso que cresceu em meio às turbulências do Twitter X
- Nos últimos dois anos, desde a aquisição de US$ 44 bilhões por Elon Musk, o Twitter passou por grandes mudanças em equipe, moderação de conteúdo e modelo de negócios
- No centro dessas mudanças controversas, um novo recurso ganhou importância rapidamente e recebeu elogios independentemente da inclinação política
- Seu lançamento coincidiu com o momento da aquisição e com a fase de expansão mais acelerada
- Ele aparece com frequência em tweets que alcançam grandes audiências, especialmente em temas politicamente sensíveis
- Quando uma nota é anexada, a percepção de que ela é útil e valiosa é compartilhada entre pessoas de diferentes posições políticas
- Mesmo não sendo um "projeto cripto", ele é visto como o caso do mundo mainstream que mais se aproxima de "crypto values"
- Em vez de especialistas escolhidos centralmente, qualquer pessoa pode escrever e votar
- A decisão de exibir ou não a nota é tomada inteiramente por um algoritmo open source
Como funciona o algoritmo das Community Notes
-
Qualquer conta do Twitter que cumpra certos critérios (mais de 6 meses de atividade, nenhuma violação recente de regras e telefone verificado) pode pedir participação
- No momento, as aprovações estão sendo liberadas devagar e de forma aleatória, com plano final de permitir todos que cumpram os critérios
- No início, a pessoa só pode avaliar notas já existentes; depois de acumular avaliações boas o suficiente, passa a poder escrever notas diretamente
-
As notas escritas recebem uma pontuação com base na revisão de outros participantes
- A revisão usa uma escala de 3 pontos com
HELPFUL,SOMEWHAT_HELPFULeNOT_HELPFUL, além de tags adicionais - Se a pontuação for maior que 0,40, a nota é exibida; caso contrário, não é exibida
- A revisão usa uma escala de 3 pontos com
-
A originalidade do cálculo da pontuação
- Em vez de soma ou média simples, o sistema prioriza explicitamente notas que recebem avaliações positivas de pessoas com visões diferentes
- Quando pessoas que normalmente discordam entre si concordam sobre uma nota específica, essa nota recebe uma pontuação especialmente alta
- É criada uma matriz usuário×nota M, em que cada célula Mi,j representa como o usuário i avaliou a nota j
- Como a maioria dos usuários não avalia a maioria das notas, a maior parte da matriz é 0, mas isso não é um problema
- O modelo prevê a matriz com quatro colunas: para usuários, "friendliness" e "polarity"; para notas, "helpfulness" e "polarity"
- Em vez de soma ou média simples, o sistema prioriza explicitamente notas que recebem avaliações positivas de pessoas com visões diferentes
-
Significado das variáveis
- μ é o parâmetro que reflete quão altas são, em geral, as notas dadas pelos usuários, uma espécie de "humor geral do público"
- iu é a tendência de um usuário específico a dar notas altas (friendliness)
- in é a tendência de uma nota específica a ser bem avaliada (helpfulness) e é, em última instância, a variável de maior interesse
- fu/fn são as posições no eixo dominante da polarização política (polarity); valores negativos correspondem aproximadamente à esquerda e positivos à direita
- Mas a noção de esquerda e direita não é hardcoded; ela emerge da análise
-
A ideia central
- A previsão da matriz é otimizada com gradient descent, e a helpfulness atribuída à nota vira a pontuação final
- O termo de polarity absorve características que agradam apenas a alguns, enquanto o termo de helpfulness mede apenas o que agrada a todos
- Assim, a escolha por helpfulness identifica aprovação entre campos diferentes e exclui notas celebradas por apenas um lado
-
Mecanismos adicionais sobre essa base
- O sistema roda várias vezes adicionando votos extremos aleatórios "parecidos" e compara o limite inferior do intervalo de confiança com o limiar de 0,32
- Se muitos usuários de polarity semelhante marcarem
Not Helpfulcom a mesma tag (como "linguagem controversa ou tendenciosa" ou "as fontes não sustentam a nota"), o limiar de publicação sobe de 0,4 para 0,5 — o que, na prática, é enorme - Depois que uma nota é aprovada, ela só é removida se sua helpfulness cair 0,01 ponto abaixo do limiar de aprovação
- O sistema também executa muitas outras rodadas com múltiplos modelos, e notas originalmente entre 0,3 e 0,4 podem acabar promovidas
- No total, isso resulta em 6.282 linhas de código Python complexo distribuídas em 22 arquivos, tudo público e passível de execução e verificação direta
Como isso funciona na prática
-
O conceito mais importante para distinguir esse sistema de uma média simples é o valor de polarity, que usa a letra f de factor porque são dois termos multiplicados (fu, fn)
- A polarity é atribuída tanto a usuários quanto a notas; a ligação entre IDs de usuário e contas reais é mantida privada de propósito, enquanto as notas são públicas
- No dataset em inglês, a polarity corresponde de forma muito próxima ao espectro político esquerda-direita
-
Exemplos de notas perto de polarity -0,8
- Conteúdo dizendo que parlamentares conservadores do Colorado, como Lauren Boebert, amplificaram retórica anti-trans (-0,800)
- Conteúdo dizendo que Trump enfraqueceu explicitamente a confiança dos americanos no resultado da eleição de 2020 (-0,825)
- Conteúdo dizendo que a eleição presidencial de 2020 foi livre e justa (-0,818)
- Esses três itens não foram escolhidos a dedo; são simplesmente as três primeiras linhas com polarity (
coreNoteFactor1) abaixo de -0,8 em uma execução local
-
Exemplos de notas perto de polarity +0,8
- Muitas tratavam de política brasileira em português ou de respostas a críticas à Tesla, então houve alguma seleção
- Conteúdo dizendo que, em 2021, 64% das crianças "pretas" viviam em famílias monoparentais (+0,809)
- Conteúdo dizendo que o tráfico infantil é um problema real e grande, e que a Operation Underground Railroad atua nisso (+0,840)
- Conteúdo dizendo que livros infantis LGBTQ+ banidos são obscenos e não protegidos constitucionalmente pela liberdade de expressão (+0,806)
- Como a divisão esquerda-direita não é hardcoded, mas descoberta de forma emergente, ao aplicar o sistema a outras culturas ele também pode detectar e conectar automaticamente a principal divisão política daquela sociedade
-
As notas com maior helpfulness
- Elas de fato aparecem no Twitter e podem ser capturadas diretamente
- O segundo exemplo lida mais diretamente com um tema partidário, mas ainda assim é bem avaliado por ser claro, de alta qualidade e útil
- O algoritmo parece funcionar, e a capacidade de rodar o código e verificar a saída também parece funcionar
Avaliação do algoritmo
-
O aspecto mais impressionante da análise é a complexidade: há uma versão de artigo acadêmico (gradient descent de equações vetoriais e matriciais com 5 termos) e uma versão real cheia de coeficientes ad hoc
- Até a versão acadêmica já esconde complexidade interna: por causa do termo quadrático fu∗fn e da função de custo de erro quadrático, trata-se de uma equação de quarto grau
- Equações de quarto grau podem ter várias soluções, então o gradient descent pode chegar a respostas diferentes a cada execução
- Pequenas mudanças na entrada podem fazer o sistema saltar entre mínimos locais, alterando bastante a saída
-
Algoritmo de economista vs. algoritmo de engenheiro
- A diferença para trabalhos como quadratic funding lembra a distinção entre algoritmo de economista e algoritmo de engenheiro
- Algoritmo de economista: simples, fácil de analisar, com propriedades matemáticas que permitem provar otimalidade e limites de dano por abuso, sem colapsar totalmente em situações inesperadas
- Algoritmo de engenheiro: produto de tentativa e erro iterativa, prático e capaz de fazer o trabalho
- A "estética theorycel" do cripto é necessária para distinguir protocolos que realmente não exigem confiança de estruturas que parecem sólidas, mas internamente dependem de um ator centralizado confiável ou são fraude
- Deep learning funciona quando funciona, mas é vulnerável a ataques adversariais de machine learning; por isso, uma questão é se Community Notes pode se aproximar mais de um algoritmo de economista
- A diferença para trabalhos como quadratic funding lembra a distinção entre algoritmo de economista e algoritmo de engenheiro
-
O caso do pairwise-bounded quadratic funding
- Trata-se de um desenho criado para fechar a brecha do quadratic funding comum, em que apenas dois participantes em conluio conseguem drenar todo o fundo para um projeto falso
- Para cada par de participantes, é atribuído um orçamento limitado M; o subsídio de um projeto apoiado conjuntamente por A e B é descontado do orçamento do par (A,B)
- Mesmo que k pessoas coludam, o valor máximo extraível fica limitado a k∗(k−1)∗M
- Porém, em Community Notes, cada usuário vota em pouquíssimas notas, então dois usuários quase não têm votos em comum, o que impede aplicar isso diretamente
- O objetivo do modelo de machine learning é justamente preencher a matriz com dados escassos, e garantir estabilidade contra poucos votos maliciosos exigiria esforço adicional
-
Community Notes realmente reduz a polarização?
- Mesmo uma votação ingênua já reduz um pouco a polarização (um post com 200 a favor e 100 contra fica abaixo de um com 200 apenas a favor)
- Em termos abstratos, isso é difícil de julgar, então foi feita uma implementação simplificada executada por 100 rodadas
- Grupo 1 (bom): 0,300; Grupo 2 (bom, mas mais polarizado): 0,217; Grupo 3 (neutro): 0,094; Grupo 4 (ruim): -0,152
- "Bom" significa +2 no mesmo campo e +0 no campo oposto; "bom, mas mais polarizado" significa +4 e -2, com a mesma média, mas polaridade diferente
- De fato, a nota "boa" aparece com helpfulness média maior que a nota "boa, mas mais polarizada"
- Quanto mais o sistema se aproxima de um algoritmo de economista, mais clara fica a explicação do princípio de penalizar polarização
Utilidade em situações de alto risco
-
Cerca de um mês atrás, Ian Bremmer levantou a questão de que uma nota crítica anexada a um tweet de uma autoridade do governo chinês teria sido removida
- Diferentemente de experimentos pequenos da comunidade Ethereum, isso envolve temas políticos e geopolíticos que afetam milhões de pessoas, então todos assumem o máximo de má-fé
- Como Elon tem muitos interesses de negócio na China, existe espaço para suspeitas de manipulação centralizada
-
Verificação direta via open source
- A partir do ID do tweet original
1676157337109946369, foi localizada nos dados baixados a linha correspondente à nota e obtido o ID1676391378815709184 - Ao procurar em
scored_notes.tsvenote_status_history.tsv, o estado atual aparece comoNEEDS_MORE_RATINGS, enquanto antes eraCURRENTLY_RATED_HELPFUL- O algoritmo primeiro exibiu a nota e depois a removeu quando a avaliação caiu, sem sinais de intervenção centralizada
- Ordenando
ratings-00000.tsvpor tempo e olhando os primeiros 50 votos, há 40HELPFULe 9NOT_HELPFUL- O público inicial era mais favorável que o posterior, então a nota começou com pontuação alta e depois caiu
- A mudança de status não veio apenas de cruzar um limiar simples; várias marcações
NOT_HELPFULacionaram a condição de outlier, elevando a pontuação de helpfulness exigida- Para que um algoritmo de neutralidade confiável seja de fato confiável, ele precisa manter simplicidade e oferecer uma explicação simples e clara para mudanças de estado
- A partir do ID do tweet original
-
Vulnerabilidade a brigading
- Quem não gosta de uma nota pode mobilizar uma comunidade altamente engajada ou muitas contas falsas para despejar
NOT_HELPFUL, um caso de brigading- Pode não ser preciso tantos votos assim para derrubar uma nota de "útil" para "polarizada"
- Como melhoria, sugere-se impedir que qualquer pessoa vote em qualquer nota livremente e, em vez disso, atribuir notas aleatoriamente por um feed "For you", permitindo avaliar apenas as notas designadas
- Quem não gosta de uma nota pode mobilizar uma comunidade altamente engajada ou muitas contas falsas para despejar
-
Community Notes não é "corajoso" o suficiente?
- A principal crítica é que ele não faz o suficiente, algo apontado em dois artigos recentes
- Para que uma nota seja publicada, é preciso consenso ideológico ao longo de todo o espectro político, e num ambiente cada vez mais partidário um "consenso suprapartidário sobre a verdade" é quase impossível
- Ainda assim, a posição defendida é que é melhor deixar passar dez tweets falsos do que publicar uma nota injusta
- Um fact-checking "corajoso" baseado em "nós sabemos a verdade e um lado mente mais" acaba produzindo desconfiança generalizada em relação ao próprio fact-checking
- Há valor em construir uma instituição supracampista que todos respeitem ao menos em alguma medida, e, como no aforismo de William Blackstone, um sistema que comete mais pecados por omissão do que por ação tem mais chance de preservar esse respeito
- O objetivo não é anexar notas corretivas a todos, nem à maioria dos tweets falsos
- Mesmo que menos de 1% dos tweets falsos recebam nota, o serviço ainda tem muito valor como ferramenta educativa
- O objetivo é lembrar que existem múltiplos pontos de vista, que algo aparentemente convincente pode estar errado e que isso pode ser conferido com uma busca própria
- Não é uma cura mágica para todos os problemas da epistemologia pública, e outros mecanismos — como prediction markets ou organizações com especialistas dedicados — ainda podem preencher lacunas
- A principal crítica é que ele não faz o suficiente, algo apontado em dois artigos recentes
Conclusão
- Community Notes é um experimento interessante de mídia social e um exemplo de um novo gênero de design de mecanismos que prioriza identificar polarização e conectar divisões
- Outros exemplos da mesma categoria incluem o pairwise quadratic funding usado no Gitcoin Grants e a ferramenta de debate Polis, que usa clustering para encontrar falas com ampla ressonância
- A expectativa é que haja mais pesquisa acadêmica nessa área
- A transparência algorítmica das Community Notes não equivale a uma rede social totalmente descentralizada: mesmo discordando do algoritmo, não há como ver o mesmo conteúdo com outro algoritmo
- Ainda assim, é provavelmente a forma mais próxima a que aplicações gigantescas poderão chegar nos próximos anos e já oferece grande valor tanto para evitar manipulação centralizada quanto para permitir que plataformas que não manipulam recebam o devido reconhecimento
1 comentários
Opiniões no Hacker News
Texto interessante. O Community Notes parece ter sido construído sobre um modelo matematicamente bastante sólido
Parece muito menos vulnerável a comportamento coletivo enviesado do que os sistemas tradicionais de voto a favor/contra, embora provavelmente não seja totalmente imune a esse tipo de comportamento. Como “viés” depende do ponto de vista de quem observa, é irrealista esperar que qualquer sistema de avaliação de conteúdo seja completamente imparcial
O Community Notes e as criptomoedas têm em comum o fato de serem “muito poderosos graças a uma matemática complexa, mas completamente opacos para 95% das pessoas”. Dito isso, em comparação com o espaço que o texto dedica a essa conexão, a relação parece bem fraca. Como Vitalik escreve um blog sobre criptomoedas, parece algo ajustado ao público dele, mas ainda assim foi um bom texto
Gosto muito do Community Notes. No Brasil, ele vem sendo usado há algum tempo para checar publicações de políticos que mentem o tempo todo ou tentam reescrever a história
Parece uma pequena marca de vergonha anexada ao post e, até agora, parece estar sendo aplicada a políticos de todo o espectro político
“Deep learning versus cripto é a distinção clara entre rotator e wordcel. O primeiro fere o senso estético dos theorycels, mas empiricamente produz milagres absurdos. O segundo é uma sucessão de nerd traps insanos e escadas de abstração altíssimas, mas na maior parte é golpe”
Alguém consegue traduzir essa frase cheia de memes para o inglês?
Além disso, para algo postado pelo Vitalik, parece uma formulação bem anticripto
Se usuários comuns pudessem saber magicamente quais tecnologias de criptomoedas realmente agregam valor a essa área e quais não agregam, o ecossistema inteiro seria muito mais saudável
As outras partes da frase são mais uma autossátira divertida. Por exemplo, ele parece ter consciência das tocas de coelho de pesquisa e das abstrações matemáticas em que a equipe do Ethereum se meteu para fazer o staking funcionar
Se o Ethereum não estivesse no topo de todas as exchanges de criptomoedas e se Vitalik não fosse uma figura relativamente conhecida, fico imaginando como seria difícil para uma pessoa média interessada em cripto diferenciar as “nerd traps insanas e escadas de abstração altíssimas” do Ethereum de um golpe
“O primeiro fere o senso estético dos theorycels, mas empiricamente produz milagres absurdos” significa que, para pessoas profundamente presas à teoria, deep learning parece algo que não deveria funcionar, mas, de qualquer forma, entrega ótimos resultados
“O segundo é uma sucessão de nerd traps insanos e escadas de abstração altíssimas, mas na maior parte é golpe” significa que as criptomoedas estão cheias de problemas técnicos interessantes, mas que os resultados, em sua maioria, são golpes
Shape rotator é alguém capaz de girar formas mentalmente, usado como uma espécie de indicador indireto de inteligência. É alguém bom em matemática ou STEM, mas que sente que esse valor não é reconhecido
Wordcel é alguém habilidoso com palavras ou retórica, mas que sente que essa capacidade não é suficientemente reconhecida ou não impulsiona muito sua vida
O Community Notes provavelmente terá, em certa medida, pontos fortes e fracos parecidos com os da Wikipedia
O Community Notes não é escrito nem curado por um grupo de especialistas selecionado centralmente; qualquer pessoa pode escrever e votar. Não é perfeito, mas chega surpreendentemente perto do ideal de neutralidade confiável
Se esse é o lado otimista, a desvantagem é que, quando determinados grupos demográficos forem mais atraídos a escrever essas notas ou passarem a dominar o próprio Twitter, podem surgir os mesmos problemas de viés vistos em temas sociais e culturais na Wikipedia. Qualquer que seja o resultado, não será “neutralidade confiável”
No Community Notes, qualquer pessoa pode revisar e marcar como útil/não útil
Alguns Community Notes que vi eram bem bons. Gosto do fato de que também podem ser anexados a anúncios
Muitos anúncios no Twitter hoje recebem Community Notes porque o anúncio diz uma coisa, enquanto o produto real faz algo completamente diferente
Já o Community Notes aparece nos lugares certos, é bem informativo e, em alguns casos, parece surpreendentemente detalhado
O Community Notes é a única coisa boa que surgiu no X em todo esse processo
Alguém já insinuou isso aqui nos comentários, mas isto se parece muito com uma versão bem mais sofisticada do modelo de moderação do Slashdot
Esse era o meu modelo favorito de moderação de sites. Dar um julgamento ou comentário meta sobre algo parecia um privilégio, não um direito óbvio
Acho que o maior problema é tratar a “polaridade” como um eixo único. Na prática, muitos temas se alinham dessa forma, mas os temas que não se alinham são importantes
É bom ver o esforço rumo à moderação distribuída, mas ainda é centralizado demais para realizar esse sonho
O texto tenta repetidamente tranquilizar o leitor dizendo que a dicotomia esquerda/direita não foi hardcoded, mas surgiu “emergentemente”; ainda assim, não entra em nenhum detalhe sobre como exatamente isso aconteceu
Parece estranho que a divisão esquerda/direita tenha aparecido. Por que justamente esquerda/direita, e não algo como baseado em fé/não baseado em fé, autoritarismo/liberalismo? Não há dados públicos para verificar se isso está certo, e temos simplesmente de confiar na palavra da organização?
Portanto, quando falamos em esquerda e direita, não estamos apontando para valores fixos nem para valores fundamentais em si. Tudo está sempre se movendo, muitas vezes de formas contraditórias. Por isso, esses termos acabam servindo como substitutos para clivagens que mudam continuamente dentro da sociedade. Nesse sentido, se você fizer uma amostragem justa da sociedade, acabar dividido ao longo desses termos é quase uma tautologia
Com um sistema político bipartidário, esse é um resultado quase esperado. Como cada partido tenta se alinhar ao maior número possível de eleitores, é bastante plausível que a divisão republicanos/democratas se torne um “bom” corte no espaço de alinhamento
Basicamente, o algoritmo procura explicitamente o eixo de polaridade “ótimo”, que contém mais informação sobre quais conteúdos os usuários provavelmente considerarão aceitáveis, e o sistema político bipartidário se alinha implicitamente a esse eixo como uma propriedade emergente da movimentação da política partidária
http://politics.beasts.org/scripts/eigenvectors
Seria interessante repetir isso hoje com as mesmas perguntas ou com perguntas diferentes
Como o Twitter também faz parte do mundo real, os usuários podem já ter chegado com uma tendência a se agrupar em tribos de esquerda/direita, e depois os mecanismos de formação de bolhas das redes sociais podem ter acelerado o processo de polarização
Os dados de notas e avaliações também são publicados diariamente: https://twitter.com/i/communitynotes/download-data
Basta rodar o código de fatoração de matrizes nos dados por conta própria e interpretar você mesmo as dimensões latentes encontradas. E, ao ler o código, também dá para confirmar que ele de fato não codifica uma divisão específica esquerda/direita, mas executa fatoração de matrizes
Resumindo de forma um tanto dura: a maioria das pessoas gosta do Community Notes, e Vitalik quer que parte dessa simpatia respingue nas criptomoedas. Como as criptomoedas precisam desesperadamente desse tipo de simpatia, ele insiste que os dois têm uma linhagem filosófica ou funcional em comum
Na minha opinião, isso não faz sentido e parece uma tentativa de amarrar uma vaca morta a uma vaca viva. Mas é o blog dele, então ele pode fazer o que quiser
Sou totalmente cético em relação a criptomoedas, mas não senti que as breves menções a elas diminuíssem o valor do restante do texto
A maior parte do texto não tem nada a ver com criptomoedas
Financiamento quadrático também é interessante por si só, e não é necessário usar criptomoedas para implementá-lo
O blog vitalik.ca trata em geral de criptomoedas e temas adjacentes, que são o foco atual da pesquisa e desenvolvimento de Vitalik. Ele escreve sobre criptomoedas há mais de 10 anos
Se ele quer chamar atenção para o Community Notes em seu próprio blog, é provável que seja principalmente porque gosta de pensar e escrever sobre isso. Dito isso, como um bom efeito colateral, se desenvolvedores de criptomoedas se inspirarem no Community Notes, especialmente ao criar redes sociais nativas de cripto, ele provavelmente não acharia ruim