- Mencionado por Mark Zuckerberg na divulgação do earnings call do Q2 de 2024
- O Llama 3 já está competindo com os modelos mais avançados, e o desenvolvimento do Llama 4 já começou
- A meta é alcançar o nível mais alto do setor no próximo ano
- A empresa está planejando os clusters de computação e os dados necessários para os próximos anos
- Espera-se que o poder computacional necessário para treinar o Llama 4 seja quase 10 vezes maior que o do Llama 3, e que os modelos futuros continuem exigindo ainda mais
- É difícil prever como essa tendência vai evoluir, mas, neste momento, considerando o longo prazo necessário para colocar novos projetos de infraestrutura em operação, a empresa acredita que é melhor construir capacidade antes de precisar dela do que agir tarde demais
- À medida que ampliar esses investimentos, a empresa manterá a eficiência operacional em toda a organização
1 comentários
No aprendizado profundo, os recursos computacionais originalmente aumentavam em média 10 vezes a cada 2 anos, então acho que não é algo tão surpreendente.