Entendendo o ModernBERT do zero por meio de TDD

O ModernBERT é um modelo de embeddings/reranker que reúne artigos e técnicas mais recentes, e vem sendo utilizado como modelo central em diversos pipelines de processamento de linguagem natural, como RAG. No entanto, como sua estrutura interna é complexa, há muitos pontos difíceis de compreender apenas com o código de modelagem.

O open source da Sionic AI é um projeto estruturado para permitir aprender esse ModernBERT passo a passo com base em testes unitários. Em especial, ele inclui o processo de conversão direta de um modelo escrito em PyTorch para TensorFlow, permitindo entender com clareza, por meio de cenários de teste, qual é o papel de cada camada e função.

Além disso, ao ser convertido para TensorFlow, ele oferece a vantagem de permitir servir o modelo com facilidade também no ecossistema Spring/JVM. Como torna possível usar o ModernBERT não apenas em ambientes Python, mas também em grandes sistemas baseados em Java/Kotlin, acreditamos que será especialmente útil para quem constrói serviços de deep learning em ambientes corporativos!