Lançada a extensão experimental para Chrome "Citation Needed", de LLM/RAG, da Wikimedia Foundation
(chromewebstore.google.com)Extensão para Chrome Wikipedia Citation Needed
- Durante a navegação na web, permite selecionar um trecho específico de texto para verificar essa afirmação
- Usa a API do ChatGPT para buscar artigos relacionados na Wikipedia e citar esses artigos
- Fornece sinais de qualidade do artigo, como a data da última edição e o número de referências do artigo, junto com informações sobre se a afirmação selecionada é sustentada pela Wikipedia, ajudando o usuário a entender melhor o contexto das informações que recebe, incluindo as da Wikipedia
Pedido de feedback dos usuários
- Este recurso é experimental e usa IA generativa, e a equipe reconhece que ele pode cometer erros às vezes
- Para entender e melhorar a qualidade dos resultados, pedem que os problemas encontrados sejam reportados pelo link de feedback da extensão
- Feedback geral e ideias sobre outras formas de a Wikipedia ser útil na navegação cotidiana na web também são bem-vindos
Informações para desenvolvedores
- Esta extensão foi desenvolvida pela equipe Future Audiences da Wikimedia Foundation, organização sem fins lucrativos que apoia a Wikipedia e seus projetos irmãos
Opinião do GN⁺
- Esta extensão pode ajudar os usuários a avaliar a confiabilidade das informações que encontram na web. No entanto, como os próprios artigos da Wikipedia podem ter limitações de qualidade e precisão, parece difícil usá-los como critério absoluto.
- Automatizar resumo e verificação com o uso de grandes modelos de linguagem, como o ChatGPT, pode aumentar a conveniência para o usuário, mas ao mesmo tempo também traz o risco de gerar informações incorretas. Parece necessário haver monitoramento contínuo e esforços de melhoria.
- Além da Wikipedia, se também forem utilizadas fontes confiáveis validadas por especialistas de cada área, será possível aumentar a precisão e a abrangência da verificação. No longo prazo, também vale considerar a construção de uma base de conhecimento descentralizada baseada em blockchain.
1 comentários
Opiniões no Hacker News
É uma aplicação experimental de RAG baseada em LLM que verifica afirmações na internet comparando-as com a Wikipedia.
Mais detalhes podem ser vistos em https://meta.wikimedia.org/wiki/Future_Audiences/Experiment:....
Para constar, participei desse trabalho.
Nos últimos 6 meses, criei cerca de 8 extensões de navegador; a maioria tem milhares de usuários, e uma chegou a 500 mil usuários.
No momento estou criando uma extensão de assistência a design baseada em LLM, e é possível me contatar em “hello[at]papillonsoftware[dot]dev”.
Talvez por isso o nome seja Citation Needed. Na prática, ela não cita nada.
Fico curioso se as citações também podem ser alucinadas, ou se usam algo como deterministic quoting[1].
Para constar, sou o autor desse trabalho.
[1] https://mattyyeung.github.io/deterministic-quoting
Ao consultar documentos, em vez de procurar por palavras-chave ou regex, queria saber se daria para pesquisar conceitos mais complexos em inglês.
Se não, também gostaria de saber que trabalho adicional seria necessário para chegar a esse nível.
Ainda assim, o trabalho de deterministic quoting parece interessante.
Não há extensão para Firefox.
Projetos desse tipo ajudam a enfraquecer concorrentes de navegador.
Boa ideia. No futuro, seria bom se a LLM também checasse os fatos dos próprios artigos da Wikipedia e os sinalizasse.
O repositório Git da Wikimedia desta extensão está aqui:
https://gitlab.wikimedia.org/repos/future-audiences/citation...
Além disso, as instruções de build no README estão incompletas e o hot reload também não parece funcionar. Para obter um build funcional, use
npm run build-dev.Não está claro o que impediria criar também uma extensão para Firefox. Talvez sejam diferenças entre as APIs de sidebar/sidepanel, mas não explorei muito isso.
Se anexarem a isso um gerador de documentos baseado em busca, vocês terão um gerador de documentos e um verificador de documentos, e poderão criar 1 trilhão de páginas desse jeito.
Daria para usar como conteúdo de treinamento para LLMs, e as pessoas também poderiam usar.
Fico curioso se isso funciona apenas no Chrome. Não consegui fazê-lo funcionar no Arc.
@wikimedia: por favor, uma versão para Firefox.
Dizem que é uma “extensão do Chrome que encontra citações na Wikipedia”, mas no meio acadêmico citar a Wikipedia geralmente é tabu.
Um dos motivos é a baixa confiabilidade, e o autor pode citar uma fonte que ele mesmo consegue editar.
Mais importante: a Wikipedia pode ser boa para encontrar fontes primárias, mas ela própria é uma fonte secundária.
Hoje já vimos fraudes acadêmicas em larga escala serem de fato reveladas, com pouquíssimas correções para consertá-las.
Por outro lado, a Wikipedia tem lidado razoavelmente bem com abusos, e o uso de links da Wikipedia não é tanto uma ameaça à academia quanto a fraude acadêmica é uma ameaça maior à Wikipedia.
Se você procurar no Google, encontra muitas repetições da mesma informação, mas a maioria dos sites não cita fontes.
Mesmo antes da Wikipedia, não se citava uma fonte secundária, mas ela certamente era usada para entrar no assunto e encontrar fontes relacionadas.
Acadêmicos citam o tempo todo seus próprios artigos ou outras fontes sobre as quais têm controle editorial.
Ela quer que as referências apontem mais para fontes secundárias do que para fontes primárias.
“Os artigos da Wikipedia devem se basear em fontes secundárias confiáveis e publicadas e, em menor grau, em fontes terciárias e fontes primárias. Fontes secundárias ou terciárias são necessárias para estabelecer a notoriedade do tema e evitar interpretações inéditas de fontes primárias.”
https://en.wikipedia.org/wiki/Wikipedia:No_original_research
Perguntei sobre ela mesma e ela retornou isto:
Não usei exatamente como era previsto, mas achei meio engraçado.