BloombergGPT - modelo de linguagem de grande escala para finanças

• Modelo de linguagem com 50 bilhões (50B) de parâmetros, treinado com um amplo conjunto de dados financeiros
• Foi construído um conjunto de dados de 363 bilhões de tokens com base nas fontes de dados da Bloomberg, complementado por 345 bilhões de tokens de dados gerais
• Não apresenta queda de desempenho em benchmarks gerais de LLM e mostra desempenho muito superior ao de modelos existentes em tarefas financeiras
• Também descreve as escolhas de modelagem, o processo de treinamento e a metodologia de avaliação
• Como próximo passo, há planos de divulgar um log de treinamento (crônica) detalhando a experiência de treinamento do BloombergGPT