Perguntei ao GPT-NeoX-20B sobre as quatro operações aritméticas
(twitter.com/moyix)-
Fizeram perguntas simples de aritmética básica ao GPT-NeoX, um modelo open source em escala GPT-3
-
De 100 perguntas, apenas 10 estavam corretas. Mas a maioria ficou próxima da resposta certa
Q: "What is 2653 * 30641?"
A: 82356113 (errado)
A resposta correta é 81290573
- É conhecido que "modelos de linguagem" basicamente não são muito bons em matemática (talvez em parte por causa da forma como os números são tokenizados)
4 comentários
A resposta correta não é realmente 81290573, e a resposta do GPT-NeoX não é 82356113?
Fiz a conta de cabeça e também usei a calculadora, e me parece que a resposta correta é 81290573!
(Também dá para ver na imagem do link que o "Correct" está como "No".
Se eu estiver errado, por favor me corrijam!)
Opa, poxa... Acho que inverti a ordem enquanto estava escrevendo. Já corrigi.
É ainda mais surpreendente porque parece humano o fato de dar um valor aproximado como resposta correta.
Há muitos comentários no HN com discussões mais detalhadas sobre isso: https://news.ycombinator.com/item?id=30299360