Mais alguém acha que a qualidade recente do GPT-4 caiu bastante?

Vou traduzir aqui várias respostas postadas no HN

• Ficou mais rápido do que antes, mas a qualidade dos resultados caiu muito, a ponto de parecer um GPT-3.5++. Está gerando código com mais bugs, e as respostas parecem ter ficado mais rasas
• Parece que foi enfraquecido, como se tivessem adicionado camadas para classificar certas tarefas de programação e acabar dando respostas inúteis. Por isso, cancelei minha assinatura premium e vou começar a olhar mais para modelos DIY
• Antes da atualização, resolvia até problemas de programação muito complexos e também dava respostas muito ponderadas para perguntas não relacionadas a programação, mas agora está diferente. O GPT-4 original parecia mágico; agora parece um papagaio probabilístico burro
• Dá apenas respostas superficiais e parece incentivar você a fazer o acompanhamento em outro lugar
• Na parte de programação, está claramente piorando. Sempre peço a mesma coisa a cada nova versão, e fica cada vez mais estranho
• Para mim ainda está ok, mas estou cansado de toda resposta incluir uma frase explicando como o mundo é complexo. Sim, eu também sei, então não me trate como criança
• Esse é o motivo de os modelos open source serem importantes. E também o motivo de existirem regulação e lobby. Imagine que o povo use uma IA castrada (Neutered), enquanto a elite usa um GPT-4 bruto (Raw)
• Os pesquisadores que escreveram o artigo "Sparks of AGI" apontaram que, quanto mais a OpenAI alinhava o GPT-4, mais suas capacidades caíam. Essa tendência só continua

[wedding]

Sinto que caiu bastante e depois voltou a melhorar.

Acho que a melhoria dos prompts que estou usando também tem um papel nisso.

[hhcrux]

Ultimamente, fiz perguntas e respostas relacionadas a programação, e mesmo corrigindo os erros ele continuava repetindo a mesma coisa; eu estava me perguntando por que estava assim, mas pelo visto não era só comigo.

[botplaysdice]

A IA generativa realmente está causando um enorme rebuliço. Até postagens de acompanhamento estão aparecendo...

https://news.ycombinator.com/item?id=36155267

[test4458]

Eu também senti isso...
A velocidade das respostas também ficou mais lenta, e ele ficou mais burro

Recentemente, quando dei cerca de 200 linhas de código, o GPT-4 esbarrou no limite máximo de entrada
e o GPT-3 processou normalmente?..

Não sei se algo deu errado no alinhamento e ele quebrou temporariamente... ou se enfraqueceram de propósito..

[noziroh]

Ah, eu também senti isso. Então não fui só eu que percebi... Acho que quem usa GPT todo santo dia acaba sentindo essas diferenças sutis na pele.

[colus001]

Sinto muito isso principalmente ao escrever JDs; comparando textos feitos com o mesmo prompt há um mês e meio com os mais recentes, percebi uma diferença sutil de qualidade. Como posso dizer... talvez pareça menos caprichado?

[kuroneko]

Parece que o GPT-4 com desempenho insano que foi lançado no início já não existe mais...

[iolothebard]

No começo do GPT-4, chegava a dar a impressão de que tinha uma pessoa respondendo por trás (tipo o SimSimi??)...
A ética é assustadora assim.

[cherrycoder]

Não sou só eu ou parece que a qualidade do GPT-4 caiu bastante ultimamente?

Não é que eu queira ouvir respostas moralistas do GPT, mas dá a sensação de que a máquina está pensando demais nisso e naquilo. Tipo: “se eu responder assim, vai ser antiético?”, e passa por filtragem demais, então a resposta acaba ficando até estranha.

[xguru]

Já passaram de 600 comentários.

Para mim, mais do que tudo, é meio irritante que, mesmo pedindo a mesma coisa, os resultados variem demais... mesmo definindo a temperature baixa.