Estudo sobre a detecção automática de tokens não treinados em grandes modelos de linguagem
- Em modelos de linguagem, discrepâncias entre a criação do tokenizador e o treinamento do modelo podem fazer com que certas entradas, como o token
SolidGoldMagikarp, provoquem comportamentos indesejados
- Esses “tokens com glitch” existem no vocabulário do tokenizador, mas aparecem pouco ou nada no treinamento; eles já foram observados em vários modelos, mas faltava um método consistente para identificá-los
- Este estudo apresenta uma análise abrangente de tokenizadores de grandes modelos de linguagem (LLMs), com foco no problema de detectar tokens não treinados ou subtreinados
- Combinando análise do tokenizador, métricas baseadas nos pesos do modelo e técnicas de prompting, foi desenvolvido um método eficaz para detectar automaticamente esses tokens problemáticos
- Os resultados mostram que esses tokens estão amplamente disseminados em diversos modelos e oferecem insights para melhorar a eficiência e a segurança dos modelos de linguagem
Opinião do GN⁺
- O problema dos tokens com glitch causado por discrepâncias entre o tokenizador e o treinamento do modelo é um tema interessante. Parece ser uma questão importante que pode afetar o desempenho e a estabilidade dos modelos de linguagem
- É impressionante que tenha sido apresentada uma metodologia automatizada para resolver esse problema. O uso de diferentes abordagens, como análise do tokenizador, métricas baseadas nos pesos do modelo e técnicas de prompting, parece uma solução criativa e prática
- Este estudo aponta aspectos importantes a serem considerados no desenvolvimento e na implantação de modelos de linguagem. Em especial, sugere que manter a consistência entre o tokenizador e o treinamento do modelo é essencial para garantir estabilidade e confiabilidade
- Ainda assim, parece necessário validar mais a possibilidade de generalização dos resultados. Também será preciso verificar se a metodologia proposta funciona de forma eficaz em conjuntos de dados de diferentes domínios e idiomas
- Além do problema dos tokens com glitch, também parecem ser necessárias mais pesquisas sobre outros fatores que podem comprometer a estabilidade e a confiabilidade dos modelos de linguagem. São necessárias abordagens sob diferentes perspectivas, como viés, privacidade e segurança
1 comentários
Comentários no Hacker News
É difícil acreditar que o modelo de uma empresa canadense tenha tokens subtreinados relacionados a hóquei. Ainda assim, é uma descoberta interessante que melhora a compreensão sobre o impacto da tokenização no modelo. Em especial, os primeiros modelos open source frequentemente têm problemas de carriage return, dependendo da origem dos dados.
Um vídeo do Computerphile de um ano atrás explica bem os glitch tokens.
Não é preciso procurar apenas tokens subtreinados, mas também desequilíbrios nos dados de treinamento em todos os pesos de todas as camadas da rede. Quando encontrados, remover pesos por onde quase não há fluxo de dados pode ajudar a reduzir o tamanho do modelo ou melhorar a generalização.
Existe um método baseado em teoria de matrizes aleatórias para diagnóstico de treinamento. Ele usa a densidade espectral da matriz de correlação dos pesos e considera que, quando a densidade espectral de cada camada se ajusta a uma lei de potência truncada e o expoente de lei de potência alfa é ligeiramente maior que 2, o treinamento foi feito corretamente.
O título deste artigo é marcante.
Será que a solução não seria treinar o tokenizador com o mesmo corpus do LLM? Não entendo bem por que a reutilização de tokenizadores é tão comum.