Arquivos Nacionais dos EUA procuram cidadãos para ajudar a decifrar documentos históricos em letra cursiva
(smithsonianmag.com)- Os National Archives dos EUA têm muitos registros históricos em letra cursiva com mais de 200 anos, e precisam da participação de cidadãos para transformá-los em documentos digitais pesquisáveis e consultáveis
- Todos os anos, dezenas de milhões de registros são digitalizados e também são usados IA e OCR, mas documentos antigos escritos à mão ainda apresentam falhas de reconhecimento e erros que precisam ser corrigidos por pessoas
- Participantes do Citizen Archivist podem, sem um processo formal de inscrição, transcrever registros ou fazer tagging, aumentando a acessibilidade e a capacidade de busca dos documentos
- Atualmente, mais de 5.000 pessoas participam, com conjuntos de documentos em andamento como arquivos de pensão da Revolutionary War e contratos de funcionários de 1866 a 1870
- O ensino de letra cursiva é alvo de debate quanto à prioridade em relação ao ensino de teclado, mas mais de 20 estados exigem o ensino de cursiva nas escolas, e alguns estados transformaram isso em lei em 2024
Cidadãos ajudam a decifrar registros em letra cursiva de 200 anos
- Os National Archives têm muitos registros históricos escritos em letra cursiva, incluindo documentos com mais de 200 anos
- Esses documentos são difíceis de ler e entender, especialmente para americanos que não aprenderam letra cursiva na escola
- O programa Citizen Archivist tem como objetivo tornar documentos digitais mais acessíveis, “abrindo a história”
IA e OCR não bastam para documentos históricos
- Os National Archives digitalizam dezenas de milhões de registros todos os anos
- Para extrair texto de documentos históricos, usam IA e tecnologia de reconhecimento óptico de caracteres (OCR)
- No entanto, por causa da letra cursiva antiga e do estado dos documentos, esses métodos nem sempre funcionam ou produzem resultados precisos
- A transcrição feita por voluntários ajuda acadêmicos, genealogistas e entusiastas de história a encontrar e ler documentos com mais facilidade
Como participar e que tarefas é possível fazer
- Para começar, não é preciso preencher uma inscrição; basta escolher registros ainda não processados e seguir as instruções
- O programa é gratuito e aberto a qualquer pessoa com conexão à internet
- Mesmo sem confiança para decifrar letra cursiva, é possível participar
- Há tarefas de acrescentar tags a documentos transcritos por outros voluntários
- O tagging ajuda a melhorar a capacidade de busca dos registros
- O tempo de participação é flexível: dá para contribuir usando apenas cerca de 30 minutos por dia ou por semana
Missões em andamento e casos de participação de longo prazo
- Mais de 5.000 pessoas participam do programa Citizen Archivist
- Muitos participantes trabalham em missões (missions), conjuntos de documentos que precisam de transcrição e tagging
- As missões atuais incluem arquivos de pensão da Revolutionary War e contratos de funcionários de 1866 a 1870
- A missão da Revolutionary War começou em junho de 2023 em conjunto com o National Park Service e abrange arquivos relacionados a mais de 80.000 veteranos e suas viúvas
- O aposentado Alex Smith, da Pennsylvania, transcreveu mais de 100.000 documentos ao longo de 9 anos
- Ele procurava algo que desse propósito e estrutura à vida de aposentado
- No processo de transcrição, encontrou documentos como um memorando sugerindo a Gerald Ford que se juntasse ao Green Bay Packers e registros de pensão da Civil War
O ensino de letra cursiva volta a ganhar atenção
- O ensino de letra cursiva já foi padrão, mas hoje educadores e legisladores divergem sobre o que enfatizar: letra cursiva ou habilidades de teclado
- Mesmo com o uso generalizado de dispositivos como laptops e tablets, o ensino de letra cursiva vem voltando a crescer
- Segundo a Education Week, atualmente mais de 20 estados exigem que as escolas ensinem letra cursiva
- Na California, uma lei que torna obrigatório o ensino de letra cursiva entrou em vigor em janeiro de 2024
- Alguns meses depois, Kentucky também aprovou uma lei exigindo o ensino de letra cursiva
1 comentários
Opiniões do Hacker News
É um projeto interessante, mas tornaram realmente difícil participar
O texto não tem um link direto para a missão, e o cadastro em si é fácil e bem organizado, mas meio que exige discretamente dois tipos de autenticação em duas etapas
Depois de concluir o cadastro, voltar à página original e encontrar a missão fica um pouco escondido, e abrir os documentos para ler foi interessante. A caligrafia das pessoas naquela época era, em geral, bem boa
Mas, quando você tenta descobrir como começar a transcrição, aparece de novo que você não está logado, e, ao clicar no link, volta mais uma vez para a página principal
Eu gostaria de contribuir com meu tempo livre para projetos assim, mas não deveria ser necessário passar por uma interface mal projetada para poder ser voluntário
Depois de criar uma conta e fazer login, selecionei um estado na aba original e consegui entrar direto e começar a transcrever
Fico me perguntando se o estado de login não ficou bagunçado por causa do uBlock Origin ou de alguma restrição de JavaScript/cookies
O link direto da missão que estava na publicação social é https://www.archives.gov/citizen-archivist/missions/revoluti...
Depois de cerca de 30 minutos tentando em várias sessões e navegadores, finalmente consegui fazer login, e não havia nenhum indicador dizendo o que estava certo ou errado
Mesmo quando o login dá certo, a UI muda tão pouco que é fácil nem perceber que funcionou
Depois de logar, passei mais 45 minutos tentando encontrar um documento para transcrever, mas todos os documentos que eu encontrava ou recebia nos desafios já tinham sido transcritos, ou eram documentos/listas digitados, então o reconhecimento de caracteres já tinha dado conta razoavelmente bem
Só revisei a precisão de alguns documentos, fechei o navegador e não voltei mais
Eu esperava poder abrir isso e contribuir nos intervalos de 15 a 30 minutos durante o dia, em vez de fazer palavras cruzadas ou ver vídeos, então é uma pena que seja tão difícil de usar
Não é como se você estivesse inserindo dados bancários, e o processo todo parece incômodo de várias formas. Estou ficando cada vez mais cansado de sites sem importância exigirem autenticação em duas etapas como se fossem corretoras de valores
Antes de perguntar “por que não usar simplesmente um LLM?”, o texto já diz claramente que eles usam isso, mas que nem sempre é uma solução possível
Se é um projeto de crowdsourcing, acho que poderiam primeiro fazer uma transcrição inicial com um LLM e mostrar ao usuário a imagem junto com o melhor resultado do LLM
Depois me cadastrei e olhei as missões atuais: todos os documentos eram posteriores a 1900 e pareciam ter sido compostos tipograficamente. Eram borrados, mas o 4o os leu com muita facilidade
“Alguns participantes, como o aposentado da Pensilvânia Alex Smith, dedicaram anos de suas vidas a esse programa. Em 9 anos, ele transcreveu mais de 100 mil documentos”
Basta mandar vários LLMs transcreverem os mesmos 100 mil documentos e comparar quem é mais preciso, humanos ou máquinas, e por quanto
A evidência apresentada parece ser apenas uma imagem que, à primeira vista, é fácil de transcrever, então não convence muito
É triste que os picaretas tenham tomado o campo de IA de forma tão completa que agora OCR seja tratado como algo separado
Transcrevi uma carta de 1814 em que uma mulher pedia a James Monroe, então secretário de Estado, um passaporte para ir à Escócia receber a herança do irmão falecido
Foi uma experiência realmente diferente, e, depois que eu “sincronizei” com a caligrafia de quem escreveu, foi prazeroso entrar no fluxo
Além disso, como você acaba lendo e reescrevendo palavra por palavra o que está transcrevendo, as histórias lidas ficam gravadas de forma muito forte na memória
Não é surpreendente, já que você passa um tempo anormalmente grande em uma única página, mas é um efeito colateral bem-vindo quando tenta lembrar depois
Claro, é preciso escolher um autor cujo estilo mereça respeito. Quando você não está familiarizado com o idioma-alvo, acaba mastigando a escolha de vocabulário do autor e as nuances que ele tenta transmitir, e procurando em inglês uma expressão adequada
Isso faz você ficar imerso na imagem por muito mais tempo
Mesmo quando transcrevo algo literalmente, não tenho a menor ideia do que escrevi, e, para realmente entender o significado, preciso voltar e ler de novo
Tanto quem confia sem hesitar em OCR/LLMs quanto quem acha que a tecnologia ainda não chegou lá estão parcialmente certos, mas parecem não ouvir muito bem um ao outro
Em vez de discussões sem base, é preciso tentar encontrar exemplos reais e conclusões em comum
Dá para usar isso para lidar com frases feitas e reduzir bastante o esforço? Sim. O resultado precisa ser revisado e corrigido por uma pessoa? Também sim
Há um exemplo sutil aqui: https://catalog.archives.gov/id/34384201?objectPage=40
Uma das transcrições feitas pelo
o1-profoi a seguinte(2)
…and I don’t know whether it can be reset for a
date in December or not. Cornell seemed
anxious that it should not come up too close to Christmas,
and of course new suspicion [would be aroused?] [about?] him.
I will take this up with the Judge as soon as I can get rid of the brief.
Meanwhile I would like to know whether there is anything else
in which I can be useful to you, since it behooves me
in ways of uncomfortable relations with the present management.
Are you going East in December?
Has any word come from Hagerman?
Were there any noteworthy developments at the hearings
on the [Teapot?] trial?
I have no inclination yet whether Wheeler will be wanted in
Washington, but the chances are that he will not.
With regards to all the brethren and [flock?], I am
very sincerely yours,
George A. H. Fraser
Mesmo não sendo falante nativo de inglês, dá para ver partes erradas. Vou deixar para o leitor encontrar onde estão os erros, mas pelo menos Teapot trial não é
Neste exemplo, o GPT-4o se saiu um pouco melhor e só falhou na parte “New Mexican practise”
O resultado de https://www.handwritingocr.com pareceu mais preciso e, em especial, acertou New Mexican e provavelmente a maior parte das outras partes também
and I don't know whether it can be reset for a date in December or not. Cornell seemed anxious that it should not come off too close to Christmas, and of course New Mexican practice would support him. I will take this up with the Judge and with Hanna the moment I can get rid of the brief. Meanwhile I would like to know whether there is anything else in which I can be useful to you, since it behooves me to be diligent in view of uncomfortable relations with the present management.Are you going East in December?
Has any word come from Hagerman?
Were there any noteworthy developments at the hearings on the Tenorio tract?
I have no intimation yet whether I will be wanted in Washington, but the chances are that I will not.
With regards to all the brethren and flock, Dan
Very sincerely yours,
George H. H. Baser
E o link leva para a página errada. O link correto é https://catalog.archives.gov/id/34384201?objectPage=190
Eu estava procurando algo semiprodutivo para fazer numa sexta à noite, e isso caiu como uma luva
Falando mais sério, é uma sensação muito legal participar de um projeto para transcrever cartas e diários arquivados que ninguém tocou desde então
Tirando o fato de não estar fisicamente diante dos documentos, dá a impressão de que a distância entre você, o autor e aquele momento quase desaparece
Especialmente quando se vê vestígios de alguém apagando algo ou cometendo um erro, você fica imaginando por que aquilo aconteceu. Será que um amigo passou pela porta e assustou a pessoa? Será que ela se distraiu olhando pela janela? Parece algo muito próximo e, ao mesmo tempo, muito distante
Fico pensando se as grandes empresas de IA, famintas por dados de treinamento, não poderiam contribuir um pouco com esse tipo de coisa
Gastar alguns trocados de dinheiro de venture capital, contribuir para o interesse público e ainda obter dados de treinamento de alta qualidade, não?
Talvez seja o caso de pedir ajuda às faculdades de medicina ;)
Minha família inteira estudou na Ivy League, mas tem uma das piores caligrafias cursivas que já vi
Às vezes levo uma hora para ler um cartão de Natal enviado pela minha irmã mais nova
Imagino que deva ter havido uma disciplina específica na faculdade para aprender isso
Quero tentar fazer isso porque gostaria de praticar a leitura de cursiva
Escrevo muito à mão e também faço todas as minhas anotações em cursiva. Fico animado vendo meus fichários se encherem de todo tipo de assunto
Escrevo em cursiva por alguns motivos: minha mão dói menos, dá um nível superficial de privacidade em lugares públicos, não quero perder essa habilidade e, acima de tudo, é divertido
Também gosto do visual. Não uso uma caneta especial, mas acrescento meu próprio estilo à cursiva para deixá-la mais bonita
Antigamente eu também fazia as anotações da escola em caligrafia, principalmente porque isso me dava uma desculpa para não prestar atenção na matéria
Mas os professores não gostavam, porque eu não conseguia copiar rápido o bastante os garranchos do quadro
Isso é muito legal, e não quero desmerecer
Em muitos sentidos, oferecer um hobby que permita participar dos National Archives pode ser um fim em si mesmo
Mas… computadores não conseguiriam fazer isso muito melhor?
Coloquei um exemplo no 4o e ele devolveu o seguinte:
The following is the declaration of James Lambert, a soldier of the Revolutionary War in North America.
The said James Lambert this day personally appeared in the Probate Court of the County of Dearborn in the State of Indiana and at the November Term of said Court (1841), it being a court of record created by the laws of Indiana and made oath that:
On the 25th day of March 1842, he will be eighty-five years old, that he was born in the State of Maryland, that he is now a resident of said county and has been for the 27 years last past; that he has lived in Virginia, Maryland, and Pennsylvania...
A cursiva é analógica e fluida, então falta consistência de um autor para outro, e muitas vezes até dentro da escrita de uma mesma pessoa ela varia bastante
Quando bem-feita, pode ser classificada como uma forma de arte; quando malfeita, pode parecer os rastros deixados por uma galinha chapada de metanfetamina
Depois de usar teclado por cerca de 50 anos, nem eu consigo ler minha própria letra
Nem sequer consigo fazer uma assinatura reproduzível
Se ainda fizessem isso, acho que 50% das transações que eu tentasse fazer seriam recusadas
Com certeza foi uma forma de autoexpressão que perdi