Kiwi: analisador morfológico inteligente de coreano (Korean Intelligent Word Identifier)

• Kiwi: analisador morfológico inteligente de coreano (Korean Intelligent Word Identifier)
• Biblioteca de análise morfológica de coreano voltada para alta velocidade e desempenho de uso geral
• Um modelo de linguagem leve é incorporado, permitindo analisar morfemas com boa precisão mesmo em casos ambíguos
• Implementado em C++. O desenvolvedor é fã de C++.
  • A biblioteca é oferecida para Python, JavaScript, C#, Java, R e Go
  • Pode ser compilado para wasm e executado no navegador
• O modelo é oferecido em três tamanhos: pequeno (16MB), médio (40MB) e grande (90MB)
• O processo de desenvolvimento está detalhadamente publicado no blog
  • https://bab2min.tistory.com/560
• O treinamento de um modelo de linguagem coreano usando o Kiwi como tokenizer também é impressionante
  • https://github.com/bab2min/kiwi-farm