Posits, um novo tipo de número que melhora a matemática da IA

• Treinar redes neurais de grande porte exige enorme capacidade computacional
  • No caso do GPT-3 da OpenAI, só o treinamento custou mais de US$ 5 milhões
• Engenheiros criaram outras formas de representar números para reduzir esse custo
• Propostos em 2017, os Posits são uma melhoria em relação aos processadores aritméticos de ponto flutuante usados hoje
• Foi desenvolvido o primeiro núcleo a implementar isso em hardware. Em comparação com o método FP atual, a precisão dos cálculos pode aumentar em até 4 vezes

  Como a Lei de Moore está deixando de se confirmar, é preciso encontrar formas de extrair mais desempenho da mesma máquina
  Uma dessas formas é mudar o modo de codificar números reais e de representar os números em si

• Este não é o único lugar tentando mudar os números. Recentemente, Nvidia, Arm e Intel concordaram em usar números de ponto flutuante de 8 bits em vez de 32/16 bits para aplicações de machine learning
  • Usar formatos menores e menos precisos melhora a eficiência e o uso de memória, em troca de sacrificar a precisão dos cálculos
• Como os números reais são infinitos, é impossível para o hardware representá-los perfeitamente
• Para caber em um número fixo de bits, muitos números reais precisam ser arredondados
• A vantagem dos Posits vem da forma como os números que se quer representar com precisão se distribuem ao longo da reta numérica
  ( Para a distribuição real dos Posits, veja a imagem incluída no artigo. )
• O ganho de precisão obtido com isso é inegável, mas ainda resta ver qual será exatamente o impacto no treinamento de grandes IAs como o GPT-3