Vazamento de detalhes do GPT-4?

• Possibilidade de vazamento de detalhes do GPT-4
• As informações vazadas indicam que o GPT-4 pode ter recursos avançados
• Espera-se que o GPT-4 tenha capacidades aprimoradas de processamento e compreensão de linguagem natural
• Os detalhes vazados também mencionam compreensão de contexto e capacidade de raciocínio aprimoradas
• Há rumores de que o GPT-4 terá um tamanho de modelo maior, o que pode contribuir para melhor desempenho
• As informações vazadas despertaram interesse entre pessoas com familiaridade técnica
• Este artigo discute o impacto potencial que o GPT-4 pode ter em vários setores e aplicações
• Não se sabe quando o GPT-4 será lançado oficialmente
• Os detalhes vazados despertaram especulação e expectativa entre engenheiros de software e entusiastas de tecnologia

[GN⁺]

Comentários do Hacker News

• A fonte original dos detalhes vazados do GPT-4 é uma postagem de blog no semianalysis.com.
• O usuário do Twitter que compartilhou os detalhes aparentemente apenas parafraseou a postagem do blog, o que levou à remoção do tuíte.
• O MoE (Mixture of Experts) usado no GPT-4 é interessante e pode explicar a variação na qualidade das saídas.
• Embora o modelo de visão do GPT-4 não tenha sido divulgado, há expectativa em torno dele.
• O treinamento do GPT-4 exigiu 21 yottaflops, o que representa uma conquista computacional significativa.
• O custo de treinamento do GPT-4 caiu para 1/3 do valor do ano passado, o que é uma boa notícia para o open source.
• Há especulações de que a qualidade do GPT-4 tenha sido degradada por aceitar sequências de baixa probabilidade de um modelo de decodificação especulativa.
• O Google está pesquisando mistura de especialistas para escalar modelos de linguagem, e o modelo GLaM tem 1,7 trilhão de parâmetros e 64 especialistas.
• George Hotz mencionou em uma entrevista que o GPT-4 tem 220 bilhões de parâmetros e é um modelo de mistura com 16 componentes, composto por 8 conjuntos de pesos.
• Há curiosidade sobre se serviços premium como o Thread Reader ainda conseguem operar com os altos preços da API do Twitter.
• Alguns usuários estão procurando links alternativos para acessar os detalhes vazados do treinamento do GPT-4 sem precisar se cadastrar no Twitter.
• As únicas pessoas que realmente sabem como o GPT-4 funciona são os funcionários da OpenAI; o restante precisa se basear em especulações.