Aumentando o comprimento de contexto dos LLMs

[frida]

Aumentando o comprimento de contexto de LLMs

Para usar LLMs em coreano com contexto longo, investiguei e testei vários métodos para aumentar com eficiência o comprimento de contexto de LLMs

1. LongLoRA
   usa shifted sparse attention e fine-tuning com LoRA para expandir em até 8x

2. Interpolação de Posição baseada em RoPE
   pode ser aplicado a modelos que usam embeddings baseados em RoPE, como o Llama, modificando os embeddings RoPE, e com fine-tuning expande o comprimento de contexto em até 16x

3. Dynamic NTK
   aplica a teoria NTK sem fine-tuning para expandir em mais de 2x

4. LongLM
   usa attention modificada para expandir em até 4x sem fine-tuning

5. ChunkLlama
   divide o texto em chunks para expandir o comprimento de contexto do modelo Llama em 4x sem fine-tuning

6. Infini-attention
   pode estender até 2M com pouco uso adicional de memória e permite inferência rápida; método aplicado no Gemini-Pro

[superwoou]

É a primeira vez que vejo um texto totalmente sem resumo.