Estudante de ciência da computação encontra a primeira palavra em 2.000 anos em um pergaminho fechado de Herculano
(scrollprize.org)- Os pergaminhos de Herculano, carbonizados pela erupção do Vesúvio em 79 d.C., eram tão frágeis que se desintegrariam se fossem abertos, mas ficou comprovada a possibilidade de ler os caracteres internos com tomografia computadorizada e machine learning
- O participante do Vesuvius Challenge Luke Farritor encontrou uma palavra completa dentro de um pergaminho fechado e recebeu o First Letters Prize de US$ 40.000
- A palavra descoberta é o termo antigo ΠΟΡΦΥΡΑϹ, grafado hoje como “porphyras”, que significa “roxo”, mas o contexto e os limites da palavra ainda são difíceis de determinar
- A descoberta do crackle pattern por Casey Handmer levou a melhorias nos modelos de Luke e Youssef Nader, e Youssef recebeu o 2º prêmio de US$ 10.000 por um resultado independente mais nítido na mesma área
- Com a combinação de competição aberta, ferramentas open source e trabalho de segmentação, alcançar o Grand Prize de US$ 700.000 ficou mais perto de se tornar uma meta realista
A primeira palavra vinda de um pergaminho que não podia ser aberto havia 2.000 anos
- Os papiros de Herculano são pergaminhos antigos que ficavam na biblioteca de uma villa privada perto de Pompeia; foram soterrados e carbonizados na erupção do Vesúvio em 79 d.C.
- Essa biblioteca é a única biblioteca sobrevivente desde a Antiguidade e ficou soterrada por cerca de 2.000 anos sob 20 m de lama vulcânica
- Eles foram escavados nos anos 1700, mas os pergaminhos eram tão frágeis que poderiam virar pó se manuseados incorretamente, dificultando abri-los fisicamente para leitura
- Em agosto de 2023, Luke Farritor se tornou a primeira pessoa a ver uma palavra completa dentro de um pergaminho fechado e recebeu o First Letters Prize de US$ 40.000
- Para ganhar esse prêmio, era preciso encontrar pelo menos 10 caracteres em uma área de 4 cm² do pergaminho
- Youssef Nader também descobriu de forma independente a mesma palavra na mesma área e, por um resultado mais nítido, recebeu o 2º prêmio de US$ 10.000
- O código publicado pode ser visto nos GitHubs de Luke e Youssef
Tomografia computadorizada, dados de referência e o ponto de partida do Vesuvius Challenge
- Em 2019, o professor Brent Seales, do EduceLab da University of Kentucky, escaneou os pergaminhos de Herculano com um acelerador de partículas, gerando tomografias 3D com resolução de até 4 µm
- A equipe de pesquisa também escaneou e fotografou fragmentos separados que ainda tinham tinta visível, preparando um conjunto de dados de referência
- Stephen Parsons trabalhou na detecção de tinta por machine learning em tomografias de fragmentos separados e obteve resultados nesses fragmentos
- Nat Friedman e Daniel Gross iniciaram o Vesuvius Challenge para acelerar esse progresso
- A competição aberta foi lançada em março de 2023
- Além do Grand Prize de US$ 700.000, ofereceu vários prêmios menores para o desenvolvimento de ferramentas e técnicas open source
- A partir do início do verão, a equipe de segmentação se juntou ao projeto e mapeou a estrutura 3D dos pergaminhos; até julho, havia segmentado centenas de cm² de papiro e os desenrolado virtualmente
O sinal de tinta encontrado por Casey Handmer
- No início de agosto de 2023, Casey Handmer observou por muito tempo segmentos de tomografia computadorizada e descobriu um crackle pattern que parecia tinta
- Stephen Parsons já havia visto evidências diretas de tinta em fragmentos separados, mas isso ainda não havia sido confirmado dentro de um pergaminho fechado
- Casey se tornou a primeira pessoa em 2.000 anos a encontrar tinta e letras dentro de um pergaminho fechado
- Essa descoberta foi o ponto de partida direto tanto para o modelo de Luke quanto para a abordagem de Youssef, e Casey recebeu o First Ink Prize de US$ 10.000
O modelo de Luke Farritor e “porphyras”
- Luke Farritor é estudante universitário e foi estagiário de verão na SpaceX Starbase; ele conheceu o Vesuvius Challenge por meio da entrevista de Nat Friedman a Dwarkesh Patel
- Depois de ver no Discord a discussão de Casey sobre o crackle pattern, ele usou noites e madrugadas para treinar um modelo de machine learning que aprendesse esse padrão
- A cada nova descoberta de crackle, o modelo melhorava, e o modelo melhorado voltava a revelar mais crackles, criando um ciclo iterativo
- O modelo encontrou algumas dezenas de traços de tinta e algumas letras completas, que foram usados como dados rotulados de treinamento
- Com o tempo, o modelo passou a revelar até vestígios de crackle invisíveis ao olho humano, e esses vestígios se tornaram pistas de letras e palavras
- Na primeira submissão de Luke, ΠΟΡΦΥΡΑϹ, ou seja, “porphyras”, aparecia de forma tênue
- Quando o professor Brent Seales mostrou essa imagem a papirólogos, eles leram imediatamente “porphyras”, apesar das letras apagadas
- Após a revisão técnica, uma nova imagem foi enviada a um painel de papirólogos, que anotaram de forma independente e unânime 13 caracteres
- A confiança foi classificada em acima de 80%, entre 50 e 80%, e abaixo de 50%
- “porphyras” significa “roxo” e é uma palavra muito rara em textos antigos
- Um papirólogo avaliou que, pela falta de contexto, não é possível descartar se se trata do substantivo “corante roxo ou tecido roxo”, do adjetivo “roxo” ou de outro limite de palavra
- Como os textos da época não usavam espaços, o julgamento dos limites das palavras fica ainda mais difícil
A abordagem independente de Youssef Nader
- Youssef Nader é um pós-graduando egípcio em biorrobótica em Berlim e, estimulado pelos resultados de Casey e Luke, tentou um método diferente
- Primeiro, ele revisou os trabalhos vencedores do Kaggle Ink Detection prize
- Essa competição se concentrou em melhorar a abordagem de machine learning de Stephen Parsons baseada em fragmentos separados
- Youssef transferiu o modelo para os dados dos pergaminhos usando pré-treinamento não supervisionado nos dados dos pergaminhos e ajuste fino baseado em rótulos dos fragmentos
- Depois de receber um pequeno prêmio pela ideia do “Ink Detection Followup Prize”, ele se concentrou na mesma área quando os primeiros resultados de Luke foram compartilhados no X e no Discord
- Com um modelo adaptado da competição do Kaggle, encontrou algumas letras e não procurou crackles manualmente como no método de Casey
- Ele anotou como dados rotulados formas que pareciam letras e expandiu isso por meio de pseudo-labeling iterativo
- O modelo final foi treinado apenas com segmentos internos do pergaminho, e esse resultado garantiu o 2º lugar no First Letters Prize
- Os papirólogos mostraram um consenso mais forte sobre as letras no resultado de Youssef e chegaram a examinar a possibilidade da palavra superior “ανυοντα / ANYONTA” e da inferior “ομοιων / OMOIωN”
- Se essas palavras estiverem corretas, esse pergaminho de papiro pode conter um texto completamente novo, desconhecido do mundo moderno
A conexão criada pela competição aberta e pelo open source
- Como as contribuições de várias pessoas se conectaram diretamente ao caminho da descoberta, este se tornou um caso em que competition + open source e uma estrutura de prêmios em etapas realmente funcionaram
- Youssef aproveitou o modelo da competição do Kaggle e, inspirado pelo resultado de Luke, examinou a mesma área
- A busca de Luke por crackles partiu diretamente do trabalho de Casey
- Casey pôde examinar muitas folhas de papiro graças ao fato de a equipe de segmentação já ter mapeado centenas de cm²
- A equipe de segmentação conseguiu mapear uma área ampla graças às ferramentas criadas pelos participantes dos Segmentation Tooling Prizes
- Isso inclui o trabalho de vários participantes, como Julian Schilliger, Chuck e Yao Hsiao
- Essas melhorias de ferramentas foram construídas sobre ferramentas open source existentes da equipe de Brent Seales
- O trabalho de várias pessoas, como Seth Parker e Stephen Parsons, serviu de base
- Pelo progresso até agora, quase todos os elementos da operação da competição cumpriram um papel crítico, e o avanço pode ser mais frágil e contingente do que parece em retrospecto
Próximos passos rumo ao Grand Prize de US$ 700.000
- A equipe de segmentação e os participantes continuam avançando, e o modelo de Youssef gerou há poucos dias uma nova imagem maior e mais nítida
- Na nova imagem, é possível ver claramente 4,5 colunas de texto separadas por margens
- Mais letras são visíveis, mas nem todas podem ser lidas imediatamente, e a equipe de papirologia está investigando mais
- O Vesuvius Challenge considera que esse avanço tornou o $700,000 Grand Prize uma meta alcançável
- Os participantes podem se juntar pela comunidade no Discord, pela newsletter no Substack e pela conta no X, e começar explorando os dados, tutoriais, trabalhos dos vencedores e ferramentas da comunidade
- O objetivo é abrir o conhecimento contido em centenas de pergaminhos, dobrar a quantidade de textos antigos e abrir a possibilidade de ler até milhares de pergaminhos ainda não escavados
1 comentários
Opiniões no Hacker News
As letras foram descobertas ao procurar texturas de rachaduras que pareciam formas de letras gregas em fragmentos de papiro de tomografias computadorizadas e anotá-las como dados de treinamento
Porém, essas texturas de rachaduras não são visíveis a olho nu na maioria dos papiros, e talvez só apareçam assim onde a tinta foi aplicada em camadas muito espessas
Na imagem de microscópio eletrônico https://scrollprize.org/img/tutorials/sem.png, a diferença de textura aparece muito melhor, especialmente nas bordas onde a tinta foi deslocada
É surpreendente que as rachaduras só tenham sido descobertas depois da competição de detecção de tinta no Kaggle. Casey Handmer também escreveu em https://caseyhandmer.wordpress.com/2023/08/05/reading-ancien... que procurou texturas de “barro rachado” e “lascas” correspondentes à tinta de letras conhecidas, mas que isso cobria apenas cerca de 10% das letras conhecidas
As novas imagens são muito melhores do que o esperado, mas ainda são apenas uma pequena área, então continuo pessimista sobre conseguirmos ler mais do que algumas frases estranhas
Nem todas as letras seriam claramente visíveis ao olho humano, mas as imagens escaneadas têm muitas camadas, então acho que os padrões só começam a aparecer depois de passar algum tempo folheando as imagens
Escrevi um código que “alinhava” blocos de imagem e achatava a textura das rachaduras interpolando bilinearmente cada coluna de pixels para cima e para baixo, minimizando, se bem me lembro, a perda de variância total
Depois eu pretendia usar uma rede neural convolucional 2D otimizada para a imagem “achatada”; olhando para a seção transversal do rolo, parecia haver partes localmente comprimidas de forma consistente, como madeira, então pensei que a interpolação talvez bastasse
Por isso eu não concordava muito com o uso de convoluções 3D nesse problema. A tinta aplicada e seca seguiria um padrão semiprevisível detectável por convoluções 2D, e as invariâncias desejadas poderiam ser estruturadas previamente com mais facilidade
Se houver interesse no código, posso procurá-lo e compartilhar
O anúncio do Nat no Twitter também vale a pena ver: https://twitter.com/natfriedman/status/1712470683207532906
US$ 700 mil é dinheiro capaz de mudar uma vida, então dá vontade de largar tudo e mergulhar nisso como um monge em busca de iluminação antiga com aprendizado de máquina moderno
Também é engraçado pensar que o rolo pode ser só uma lista de lavanderia
Além disso, dizem que “a escavação não foi concluída, e muitos historiadores acreditam que milhares de outros rolos permanecem sob a terra”: https://scrollprize.org
Se fosse uma lista de lavanderia, provavelmente teria sido escrita em uma tabuinha de cera reutilizável, não em papiro caro
Mais tarde, pessoas fora da família imperial chegavam a ser condenadas à morte por vestir púrpura; não sei se isso já valia na época do Vesúvio, mas a Wikipedia diz que Calígula talvez tenha mandado matar alguém por usar púrpura
Recomendo muito se aprofundar na literatura clássica. É realmente incrível e supera a imaginação; tive algum contato na escola, mas só recentemente percebi o quanto ela é extraordinária
Para iniciantes, recomendo Life of Pythagoras, de Iamblichus; The Golden Ass, de Apuleius of Numenia (tradução de Robert Graves); Life of Alexander, de Plutarch; Education of Cyrus, de Xenophon; e Parmenides, de Plato
O SHWEP.net também foi muito útil, guiando por muitos clássicos de forma suave, mas rigorosa, e tem uma orientação relativamente esotérica, o que também me agrada
Já tentei ler literatura clássica algumas vezes, mas sempre achei difícil de acompanhar e nunca tive muita motivação para ir até o fim; fico curioso se há algo nesse gênero que estou deixando passar
Pitágoras talvez tenha sido o maior filósofo da história. Também recomendo ler Archytas, seu herdeiro espiritual; suas ideias sobre matemática, mecânica, música, aprendizado e filosofia são impressionantes
Como melhor introdução a Plato, eu recomendaria Alcibiades. É leve o bastante para ser uma leitura prazerosa, mas ao mesmo tempo profunda e significativa: https://www.gutenberg.org/ebooks/1676
Vi recentemente um ótimo vídeo no YouTube sobre este assunto: https://www.youtube.com/watch?v=Z_L1oN8y7Bs
O título é “Herculaneum scrolls: A 20-year journey to read the unreadable”, e ele aborda um pouco quais tecnologias tornaram isso possível
Os scans já existiam há 10 anos, mas, para distinguir o papel da tinta sobre ele, era preciso treinar machine learning; 20 anos atrás, isso já era possível em outro conjunto de pergaminhos feitos de materiais com contraste maior
Deep learning está decifrando datasets que antes se considerava impossível resolver com algoritmos
Até agora, parece que não foram encontradas muitas letras difíceis demais de ver a olho nu
É interessante ler, no texto original, o processo iterativo de anotação manual guiada pela saída do modelo e de retreinamento do modelo com dados adicionais
Se você simplesmente rodasse deep learning com os dados de referência disponíveis desde o início, sem saber quais características o modelo deveria observar, isso praticamente não funcionava
Além disso, o processo de desenrolar virtualmente os pergaminhos também ainda é, em grande parte, manual e intensivo em trabalho
Agora estão tentando fazer com que um modelo de deep learning faça o trabalho que a pessoa fez aqui, mas ainda não conseguiram fazê-lo encontrar letras reais
Isso é parecido com vivenciar a abertura da tumba de Tutancâmon no século XXI
É incrivelmente impressionante haver uma possibilidade realista de, no futuro de médio prazo, podermos comprar na Amazon novas obras traduzidas que ninguém conseguiu ler por milhares de anos
Muito legal. Fico curioso para saber o que vamos aprender com isso
Como observação à parte, a foto de “Professor Seales e equipe fazendo scans no acelerador de partículas” parece uma cena de série de TV. Passa aquela vibe de “se continuarmos dizendo ‘enhance’ para o computador, vamos conseguir ler”
Pode ser considerado um dos casos mais extremos de recuperação de dados que já vi
Fico me perguntando se, daqui a 2000 anos, acontecerá algo como “o primeiro arquivo encontrado em um platter de HD descartado”
Os primeiros 30 minutos desta entrevista explicam muito bem o que está acontecendo agora. É realmente fascinante
https://youtu.be/qcvMjoJdck4?si=RL1WnAAj4loS1D2s
Achei interessante a expressão “ex-JPL startup founder and polymath”
Nunca recebi esse tipo de elogio por ser uma pessoa versátil; o que recebi foi “generalista” e “após cuidadosa consideração, decidimos não avançar com seu processo de candidatura”
Mesmo quando decidem buscar reconhecimento, já os vi serem deixados de lado pelo pecado imperdoável de “não serem famosos o suficiente”
https://scrollprize.org/ explica o desafio original
Outros estudos mostraram que o desenrolamento virtual baseado em tomografia computadorizada era possível, mas, como a tinta nesses pergaminhos não aparecia nitidamente em CT/raios X, foi preciso recorrer a mudanças estruturais mais sutis
Não está claro se a estrutura do papel mudou ou se a tinta de fato aparece, mas aparece menos