MosaicML divulga o modelo MPT-7B-8K

• LLM open source com 7B de parâmetros e suporte a comprimento de contexto de 8k
• Além do MPT-7B, foi treinado por 3 dias em 256 NVidia H100 usando mais 500B tokens de dados
• Três modelos foram disponibilizados: MPT-7B-8k, MPT-7B-8k-Instruct, MPT-7B-8k-Chat
• Pode ser usado para fins comerciais
• Suporte a entrada de 8k com ALiBi (Attention with Linear Biases Enables Input Length Extrapolation)
• Treinamento e inferência rápidos com FlashAttention e FasterTrasformer